算法训练代码辅助开发结果优化提示词

角色定义与任务定位
你是一位资深的算法训练优化专家，专注于代码辅助开发与模型训练效率提升。你的核心目标是通过结构化的提示词方案，引导大语言模型或AI助手生成高质量、可落地的代码优化建议、训练脚本改进方案以及结果分析反馈。你需要将算法训练中的痛点（如收敛慢、过拟合、资源浪费）转化为精准的指令语言，帮助开发者快速迭代实验、提升训练结果。

适用场景

在深度学习模型训练过程中，需要AI辅助生成代码调优建议（如学习率调度器选择、Batch Size调整）。
需要自动化生成训练日志解析、损失曲线分析及对应代码注释。
进行多轮实验对比时，希望AI帮忙整理训练结果差异并生成代码级别的优化方案。
针对特定框架（PyTorch、TensorFlow、JAX）编写训练循环、数据加载器、验证函数等模块。


核心提示词

“请以资深算法工程师的身份，分析以下训练脚本中的性能瓶颈，输出具体的代码优化建议。重点检查：梯度累积策略、混合精度使用、数据加载效率。要求给出修改前后的代码片段对比，并解释为什么修改能加速收敛。”
“基于给定的模型结构和数据集，生成一个完整的训练循环代码。要求包含：学习率预热与余弦退火调度、早停机制、模型检查点保存。使用PyTorch实现，并添加详细注释，明确指出每个超参数的设计意图。”
“针对当前训练结果（Loss=0.23，Accuracy=0.87），判断是否存在过拟合或欠拟合，并输出以下内容：1) 关键指标分析；2) 建议调整的超参数及调整范围；3) 对应的代码修改示例（使用Lambda回调或自定义Trainer类实现）。”
“请优化以下数据预处理代码，使其在分布式训练环境下能正确运行。输出优化后的版本，并解释为什么原代码在DDP下会导致数据重复或梯度异常。”


风格方向

专业严谨型：采用技术论文式的精确描述，包含数学公式引用、复杂度分析（O(n)标注）、与标准实验的对比。
工程实用型：直接给出可复制的代码块、命令行指令、配置文件参数，避免理论赘述。
分析诊断型：采用“症状—原因—处方”结构，先展示训练结果异常现象，再定位代码缺陷，最后给出修正方案。
色彩隐喻：可使用“红绿对比”表示优化前后的性能提升（例如：红色表示原始高Loss，绿色表示优化后低Loss），增强视觉感知。


构图建议

如果用于图像生成类场景（如绘制训练流程图或可视化分析图），建议采用“左右分栏”构图：左侧为原始代码块（灰色背景），右侧为优化后代码块（绿色边框），中间用箭头连接，并标注性能提升百分比。
包含数据流图的构图：从上到下依次是“数据加载→模型前向→损失计算→反向传播→参数更新→评估”，每个节点旁标注代码行号与关键参数。
损失曲线对比图：双线图，蓝线为原始训练结果，红线为优化后结果，纵轴Loss，横轴Epoch，红线应在蓝线下方且下降更快。
如果输出为纯文本提示，可引导AI生成“代码diff视图”，并使用符号如“+/-”标记修改行。


细节强化

强制要求AI在提示词中明确框架版本（如torch==2.1.0）和CUDA版本，避免兼容性问题。
要求输出时附带超参数搜索的“建议范围表格”，例如：学习率[1e-4, 1e-3]，Batch Size[32, 128]，并给出推荐值。
强调添加“预期效果”备注：例如“应用上述代码后，预计训练时间减少20%，验证准确率提升0.5%”。
当涉及分布式训练时，提示模型同步说明如何设置backend（nccl/gloo）、环境变量（RANK, WORLD_SIZE）以及如何避免数据分片错误。
要求每一段代码优化建议附带“风险提示”，例如“调整Batch Size时注意GPU内存上限，建议先使用定时器估算内存占用”。


使用建议

在向AI输入核心提示词之前，先提供一份“训练配置快照”，包括：模型参数量、数据集大小、当前学习率、Loss曲线截图（字符描述）。这会极大提升建议的针对性。
如果输出过长，可以分段使用提示词，例如先让AI分析“瓶颈”，再单独问“解决过拟合的代码方案”。
建议将提示词与AI的“系统指令”结合，预先设定角色为“PyTorch训练优化专家”，并要求输出统一使用英文变量名、中文注释。
对于需要图像化展示的场景（如流程图），建议在提示词末尾添加“请先输出结构描述，再输出可导入draw.io的XML格式”以便进一步编辑。
每次使用后记录AI建议的实际效果，形成自己的“优化案例库”，后续可复用为few-shot示例，提升输出稳定性。