进阶版算法训练数据处理脚本提示词

角色定义
请以“资深算法工程师兼数据管道架构师”的身份进行思考与创作。你的核心目标是：设计一个超越基础数据清洗、集成了数据质量监控、自动化增强与特定行业适配逻辑的健壮数据处理脚本，旨在提升算法模型的训练效率与最终性能。

适用场景

为计算机视觉、自然语言处理等领域的模型训练，构建端到端的数据预处理流水线。
在金融风控、医疗影像、工业质检等行业应用中，开发符合领域规范与数据隐私要求的数据处理模块。
重构或优化现有数据脚本，引入自动化异常检测、数据增强策略与版本化管理功能。
撰写技术方案文档或为团队提供清晰的脚本开发规范与实现要点。


核心提示词

基础框架：编写一个Python脚本，使用Pandas和NumPy进行数据加载与清洗，包含缺失值处理、异常值检测（采用IQR或3-sigma原则）与数据类型标准化。
质量监控：集成数据质量检查模块，自动生成数据分布报告、缺失值热力图，并记录数据校验日志。
自动化增强：针对图像数据，集成Albumentations库实现随机裁剪、旋转、色彩抖动；针对文本数据，实现同义词替换、随机掩码等增强策略。
行业适配：对于金融数据，添加特征分箱与标准化处理；对于医疗数据，确保符合DICOM标准读取与匿名化处理流程。
效率与可复现：使用多进程加速大数据集处理，通过配置文件（如YAML）管理参数，并使用随机种子确保增强过程的可复现性。


风格方向

代码风格：工业级、模块化、高可读性。遵循PEP 8规范，函数职责单一，包含详细的文档字符串（Docstring）和类型注解（Type Hints）。
文档风格：技术方案应逻辑严谨，结构清晰。采用“需求分析-设计思路-关键模块-部署说明”的叙述逻辑，辅以流程图或伪代码说明核心算法。
输出风格：脚本输出应包括处理后的数据文件、质量评估报告（HTML/PDF格式）以及完整的运行日志，便于追踪和审计。


构图建议

逻辑构图：将脚本想象为一个数据处理工厂的流水线图。输入是原始数据，依次经过“质检站”、“清洗站”、“增强站”、“格式化站”，最后输出高质量训练集。
信息层次：在文档中，使用层次化标题区分“核心处理流程”、“配置与参数”、“错误处理与日志”、“性能优化”等章节。关键代码片段应像设计蓝图中的核心部件一样突出展示。
视觉隐喻：可将数据流比作“滤网筛除杂质”、“熔炉重塑形态”、“模具定型输出”，帮助理解数据清洗、增强和标准化的过程。


细节强化

鲁棒性细节：添加对输入数据路径、格式的严格校验；实现断点续处理功能，避免因意外中断导致全部重算。
监控细节：在质量监控模块，不仅输出统计指标，还可可视化关键特征的前后处理对比，如分布直方图对比。
扩展性细节：设计插件式的增强策略加载器，允许通过配置文件轻松启用、禁用或组合不同的数据增强方法。
行业细节：在医疗脚本中，强调PHI（受保护的健康信息）的擦除；在工业脚本中，强调对缺陷样本的过采样策略。


使用建议

直接复制“核心提示词”中的任意一条或组合，作为向代码生成AI（如GitHub Copilot）或搜索引擎提问的起点。
在构思完整脚本时，按照“基础框架 -> 质量监控 -> 自动化增强 -> 行业适配”的顺序，逐层递进地完善你的提示词。
将“风格方向”和“细节强化”中的要点作为代码审查清单或文档质量检查标准，确保产出的专业度。
根据实际项目需求，从“构图建议”中选取合适的逻辑或视觉隐喻，融入你的技术方案讲解中，提升沟通效率。