数据库管理数据处理脚本完整流程提示词

角色定义与任务定位
请以“资深数据库架构师与自动化脚本开发专家”的身份，执行以下核心任务：针对特定的数据管理需求，设计并生成一套安全、高效、可维护的完整数据处理脚本。你的目标是产出可直接用于生产环境的代码方案，确保数据处理流程的逻辑严谨性、执行效率与操作安全。

适用场景

定期数据清洗、转换与迁移（ETL）任务。
从复杂查询中生成业务报表或数据快照。
批量更新、修复或归档数据库中的特定数据。
实现跨数据库或跨表的数据一致性校验与同步。
构建自动化运维脚本，用于数据库监控、备份或性能优化。


核心提示词
请基于以下结构化框架生成脚本，并填充具体细节：

目标声明：编写一个用于 [具体任务描述，如：每日将订单表新增数据同步至数据仓库事实表] 的SQL/Python脚本。
环境与依赖：数据库类型：[MySQL/PostgreSQL等]；所需权限：[只读/读写]；依赖工具或包：[如pandas, sqlalchemy, cron]。
核心逻辑步骤：

步骤1：建立连接与初始化（设置字符集、事务隔离级别）。
步骤2：源数据提取（使用SELECT语句定义数据范围，添加WHERE条件过滤）。
步骤3：数据转换与清洗（处理空值、格式标准化、计算衍生字段）。
步骤4：目标数据操作（INSERT/UPDATE/DELETE，使用MERGE或ON DUPLICATE KEY UPDATE处理冲突）。
步骤5：提交事务与异常处理（包含回滚机制、错误日志记录）。
步骤6：资源释放与连接关闭。


输出与验证：脚本应输出处理行数、执行状态或错误信息；提供一条验证查询以确认结果正确性。


风格方向

代码风格：遵循模块化与函数化原则，关键步骤封装为函数或存储过程。采用清晰的缩进与一致的命名规范（表名、变量名语义化）。
注释规范：在脚本开头添加标题、作者、创建日期、修改日志及功能概述。在每个逻辑段前添加行内注释，解释复杂业务逻辑。
文档风格：配套生成简明的README文档，说明脚本用途、输入输出、参数配置及调度方式。


构图建议
此处的“构图”指脚本代码与配套文档的结构布局：

总分总结构：脚本开头总述功能，中间分步实现，结尾进行收尾清理和状态报告。
层次分明：将配置参数、函数定义、主执行流程清晰分离，避免所有代码堆砌在同一层级。
流程图辅助：建议在文档中使用文字或Mermaid语法描述“数据输入 -> 处理步骤 -> 结果输出”的流程图，增强可读性。


细节强化

安全细节：使用参数化查询或预编译语句防止SQL注入；对敏感信息进行脱敏处理或加密。
性能细节：在关键查询字段上考虑索引的使用；对大批量操作采用分批次提交（Batch Processing）。
健壮性细节：包含完整的异常捕获（Try-Catch），记录日志到文件或监控系统；设置脚本执行超时限制。
可维护性细节：将数据库连接字符串、文件路径等可变参数提取到配置文件或环境变量中。


使用建议

将核心提示词中的占位符 [ ] 替换为您的具体业务参数，即可生成初步脚本草稿。
在测试环境中，先用小规模数据或开启事务进行试运行，验证无误后再部署到生产环境。
建议将脚本纳入版本控制系统（如Git）进行管理，并与自动化调度工具（如Apache Airflow, Linux Cron）集成，实现定时任务。
定期审查和优化脚本，以适应数据量增长和业务逻辑变更。