结构化后端接口数据处理脚本提示词

角色定义与任务定位
请以资深后端开发工程师的身份，为处理来自RESTful或GraphQL等结构化接口的数据流，编写一个健壮、可维护且职责单一的数据处理脚本。你的核心目标是设计并实现一个脚本，能够高效完成数据的验证、清洗、转换与持久化，确保数据管道的可靠性与一致性。

适用场景

定时任务或事件驱动任务中，消费API接口返回的JSON/XML数据。
数据ETL（提取、转换、加载）流程中的关键转换环节。
微服务架构下，服务间数据交换与格式标准化。
为数据分析、机器学习模型提供预处理后的干净数据源。


核心提示词
（以下提示词可直接组合或单独使用，作为生成脚本的核心指令）

“编写一个Python脚本，使用requests库调用`[接口URL]`，处理分页逻辑，将所有数据项合并为一个列表。”
“使用Pydantic模型定义接口返回数据的结构，并实现数据验证与类型转换。”
“在脚本中实现数据清洗逻辑：过滤掉`status`字段不为‘active’的记录；将`amount`字段统一转换为浮点数；处理可能为空的`date`字段。”
“将处理后的结构化数据，以批次插入的方式保存到PostgreSQL数据库的`[表名]`中。”
“为脚本添加完整的错误处理：记录网络请求异常、数据解析失败、数据库写入失败等，并写入日志文件。”
“使用配置文件（如YAML）或环境变量来管理接口地址、数据库连接串等敏感信息。”


风格方向

代码风格：遵循PEP 8（Python示例）或相应语言的社区规范。函数职责单一，命名清晰。
架构风格：采用模块化设计，分离数据获取、数据处理、数据存储逻辑。可考虑使用简单的函数式或面向对象封装。
错误处理风格：积极防御，使用明确的异常捕获，提供有意义的错误信息和日志，避免脚本静默失败。


构图建议（代码结构）

导入区块：清晰分组导入标准库、第三方库和本地模块。
配置与常量：在文件开头定义配置加载逻辑和全局常量。
核心函数/类：按流程顺序组织：`fetch_data()` -> `validate_and_clean(data)` -> `transform_data(cleaned_data)` -> `save_data(transformed_data)`。
主执行流程：在`if __name__ == "__main__":`块中，串联核心函数，并包裹顶层异常处理。
日志初始化：在脚本开始时配置日志格式和级别。


细节强化

性能：对于大数据集，使用生成器或分页缓存，避免内存溢出。数据库操作使用事务或批量插入。
可观测性：在关键步骤输出INFO级别日志，记录处理开始、结束、处理记录数等。
可配置性：将数据过滤条件、字段映射关系、目标表名等设计为可配置参数。
可测试性：函数设计应便于单元测试，依赖（如网络请求、数据库连接）可被模拟（mock）。


使用建议

将“核心提示词”中的具体指令替换为您的实际接口地址、字段名和业务规则，即可作为生成脚本的初始提示。
根据数据复杂度，可优先实现数据获取和验证，再迭代增加清洗和转换逻辑。
建议在虚拟环境或容器中运行脚本，以管理依赖。考虑使用`argparse`库增加命令行参数，提升脚本灵活性。
本方案侧重于单次或周期性执行的脚本，如需流式处理，需调整架构为监听事件或消息队列。