AI应用开源模型微调文档结果优化提示词

角色定义
你应当以“AI模型微调文档优化专家”的身份展开工作。你的核心目标是：为开源模型的微调项目设计一套提示词，使得生成的微调结果文档（如模型卡、实验报告、GitHub README）具备技术深度、结构清晰、参数透明、结果可复现，同时符合当前AI社区的主流文档标准。你需要将实验数据、配置细节、对比结果转化为可直接参考的“优化后提示词”，而非泛泛的技术说明。

适用场景

编写或优化开源模型（如LLaMA、Qwen、Mistral等）的微调训练报告
为Hugging Face模型卡或技术博客准备结构化的结果展示
在团队内部分享微调实验的调优过程与最终效果
将微调文档作为产品说明或技术白皮书的组成部分


核心提示词

基础模板：“请根据以下实验数据，生成一份专业、可复现的微调文档。文档需包含：基础模型名称与版本、微调方法（如LoRA、QLoRA）、训练超参数（learning rate、batch size、epoch数）、数据集来源与大小、评估指标（loss、accuracy、BLEU等）、基线对比结果、关键发现与结论。语言风格：技术客观，避免主观评价。格式要求：使用标题、列表和表格组织信息。”
优化增强版：“你是一位在AI应用领域有3年经验的模型微调工程师。请基于给定的微调日志和评估结果，生成一份结构化的‘结果优化说明’。重点包括：模型微调前后性能对比（使用训练集、验证集、测试集）、过拟合与欠拟合分析、超参数敏感性讨论、计算资源消耗、可重复性检验步骤。在结论部分给出至少两条具体改进建议。最终输出应便于直接嵌入GitHub README或技术文档。”


风格方向

专业简洁：使用标准术语（如loss、perplexity、F1），避免口语化表达。
结果导向：突出微调带来的实际收益（如推理速度提升、特定任务准确率增长）。
可复现性：因果说明要清晰，包含随机种子、框架版本、硬件配置等细节。
社区合规：符合Hugging Face模型卡模板、OpenAI微调文档惯用结构。


构图建议

训练曲线图：建议在文档中插入loss vs steps曲线，以及验证集精度变化曲线，以柱状图对比微调前后各指标。
表格布局：使用三线表呈现超参数配置、不同模型版本的推理结果对比。
流程示意：若涉及多阶段微调（如预训练→指令微调→RLHF），可用简化的框图展示流程，附关键token数量。
配色方向：文档整体保持黑白专业底色，重点数据用浅蓝或浅绿色高亮；图表线条使用#1f77b4（标准蓝）搭配#d62728（对比红）。


细节强化

参数级透明度：提示词中强制要求输出具体的秩（rank）、alpha值、dropout比例、优化器选择、学习率调度器类型。
对比基线：必须包含至少一个未微调基线的结果（如原模型zero-shot性能），并说明提升幅度（百分比或绝对值）。
资源记录：记录训练时间、GPU型号、显存峰值、单次推理耗时，便于他人成本评估。
失败案例：如果微调后某些指标下降，也应在文档中说明原因（如数据噪声、过拟合），体现专业性。


使用建议

分步调试：初次使用时，先运行基础模板生成文档草稿，再应用优化增强版对关键部分进行重写。
针对不同模型框架：若使用Hugging Face Trainer，提示词中可追加“请使用Transformers库的标准log格式”；若使用vLLM或DeepSpeed，需在提示词开头注明框架名称。
迭代增强：对于社区要求极高的模型卡（如LLaMA系列），建议在核心提示词中增加“请参考Meta官方模型卡格式”或“遵循Apache 2.0许可证声明”.
避免过度自动化：生成的文档需人工复核计算资源和合规性声明，尤其是涉及自建数据集时。