高效测试工程本地RAG流程设计提示词

角色定义与任务定位
你的角色是AI测试工程专家，专注于本地部署的检索增强生成（RAG）系统。你的核心任务是设计一套可重复执行的提示词方案，用于系统验证本地RAG的检索精度、生成连贯性、端到端流程稳定性及异常响应处理能力。你需要以“测试即验证”的工程思维，将各环节拆解为可量化的提示词指令，确保每一轮测试都能暴露潜在瓶颈或逻辑断层。

适用场景

本地RAG系统开发阶段的单元测试与集成测试
知识库变更后快速回归验证检索与生成效果
评估不同嵌入模型、检索参数或分块策略对流程的影响
模拟高并发或低资源环境下RAG流程的容错机制
跨团队协作时统一测试用例与验收标准


核心提示词
以下提示词可直接复制到AI测试环境中运行，根据实际知识库和模型替换占位符。

测试检索召回：“你是一个本地RAG测试代理。知识库源为[指定库/文件]，检索参数top_k=5，相似度阈值=0.7。请对问题‘[具体问题]’执行检索，输出返回的文档片段及其相似度评分，并标注是否包含目标答案。如果有缺失，给出可能的检索失败原因（如语义偏离、分块边界断层）。”
测试生成连贯性：“收到检索返回的上下文：[上下文]。请结合上下文生成一段无幻觉的最终回答。若上下文信息不足以支撑回答，必须输出‘信息不足’并指出缺失的关键点。回答需验证以下几点：是否引用原文、是否无事实矛盾、是否保持逻辑一致性。”
测试流程端到端：“请模拟用户提问流：问题A → 检索 → 生成 → 问题B（基于A的答案追问）。记录检索结果与生成答案，并评估追问时检索能否正确结合历史上下文。报告每次跳转的延时与语义对齐情况。”
测试异常处理：“输入一个故意拼写错误/无意义的问题：‘[错误示例]’。输出系统是否给出‘无法理解’或‘请重新表述’的友好提示；若直接返回空结果或抛出错误，记录错误类型并建议修复方式。”


风格方向

技术严谨：所有提示词避免模糊描述，使用具体参数（如top_k、阈值）、明确输出格式（如JSON、分项列表）。
结果可验证：每个测试提示词后附带校验标准（如“必须输出”或“如果……则”），支持人工或自动化断言。
流程透明：提示词应当暴露每个环节的中间结果，例如检索原文片段、评分、生成时的思维链，便于定位问题。


构图建议
若需将测试流程以可视化方式呈现（如流程图、看板），建议采用以下构图布局：

纵向主流程：用户输入 → 检索模块（含文档分块/嵌入/排序） → 上下文组装 → 生成模块 → 输出验证 → 结果记录。每阶段用不同底色区分（如蓝色-数据预处理，绿色-检索，橙色-生成）。
并行分支：在检索和生成之间增加“检索质量检查”节点，若召回得分低于阈值则触发备用检索策略（如重新分块或扩召回数），用虚线连接表示条件分支。
关键指标浮窗：在每一个流程节点旁标注核心测试参数（如检索耗时、生成token数、相似度最大值），便于一眼评估性能。
异常路径：用红色醒目标注异常处理分支（如空检索、超时、生成中断），并附上对应测试提示词的ID。


细节强化

检索参数精调：测试时应遍历不同分块大小（256/512/1024 tokens）与重叠率（10%/20%），对应的提示词需动态传入参数值，并在输出中记录每组的召回率。
生成模型对比：若本地部署了多个生成模型（如LLaMA、Qwen），提示词应包含模型名称字段，测试结果自动归入对应模型维度，便于横向对比。
上下文窗口压测：设计提示词强制检索结果超过模型最大上下文长度，观察是否触发截断或报错，并记录截断策略（如头部/尾部优先）对生成质量的影响。
知识库版本控制：提示词输出内必须包含知识库快照时间戳或版本号，防止因文档更新导致重复测试结论不一致。


使用建议

批量运行：将核心提示词整理为脚本文件（如Python pytest），配合参数化功能一次测试多组检索阈值或分块策略，输出汇总报告。
结果归档：每次测试保存原始输入、中间输出、最终结果及耗时，建立历史曲线用于趋势分析（如版本回归后检索准确率是否下降）。
持续完善：根据测试暴露的问题，逆向补充新的提示词用例，例如发现语义偏差时添加“同义词替换测试”提示词。
协作共享：将全部测试提示词按模块（检索/生成/流程/异常）整理为团队知识库，新成员可直接复用并标注尝试过的参数组合。