高质量爬虫采集企业知识库建设提示词

角色定义与任务定位
请以“企业知识库架构师”与“智能数据策略师”的双重身份，运用本方案。您的核心目标是：规划并生成一套可落地的、用于指导高质量企业知识库建设的系统性提示词。这些提示词将直接用于指导数据采集、内容清洗、知识结构化等具体任务，确保最终构建的知识库具备高相关性、低噪声和良好的业务应用价值。

适用场景

为特定业务部门（如客服、研发、市场）启动垂直知识库建设项目时，定义数据采集范围与质量标准。
构建企业级内部知识中枢，需要整合来自官网、文档库、行业报告等多源异构信息。
优化现有知识库内容质量，需要对已采集的原始数据进行清洗、去重、分类与标签化。
训练企业内部AI助手或问答系统，需要准备高质量、结构化的知识语料。


核心提示词

目标定义提示词：“作为知识库架构师，请为‘智能客服知识库’项目定义三个核心数据采集目标。目标需具体、可衡量，并说明每个目标对应的预期数据源类型（如产品手册PDF、历史工单记录、社区问答）。”
采集策略提示词：“设计一个针对‘行业政策法规网站’的爬虫采集策略。要求包括：1. 核心URL种子列表；2. 内容过滤规则（仅采集发布日期在2020年后的正文页）；3. 去重机制描述（基于URL和正文核心段落哈希）；4. 元数据提取字段（标题、发布日期、发文机关、效力级别）。”
内容清洗提示词：“请生成用于清洗从竞品官网采集到的HTML内容的规则列表。重点包括：移除导航栏、页脚、广告等无关模块；提取纯文本正文并保留段落结构；识别并标注出文中的产品名称、技术参数、价格信息等关键实体。”
结构化提示词：“将以下关于‘服务器运维’的杂乱文本，按照‘问题现象’、‘根本原因’、‘解决步骤’、‘关联知识链接’四个字段进行结构化提取与重组。”


风格方向

专业严谨：提示词应体现技术方案的严谨性，使用明确的指令和参数，避免模糊表述。
结果导向：每个提示词都应对应一个可验收的输出结果，例如生成一份策略文档、一个清洗规则集或一条结构化数据。
模块化与可组合：提示词之间应保持相对独立，又能像积木一样组合使用，覆盖从规划到落地的全流程。


构图建议

逻辑流程图：使用提示词生成“知识库建设数据流”图表，描绘从数据源发现、采集、清洗、标注到入库应用的完整链路。
分层架构图：构建“企业知识库分层架构”示意图，包括数据采集层、处理层、存储层、应用层，并用提示词定义各层的组件与接口。
质量控制看板：设计一个虚拟的“数据质量监控看板”，用提示词描述需要监控的指标（如覆盖率、准确率、时效性）及其可视化形式。


细节强化

扩展词：在核心提示词中，可加入“遵循GDPR等数据合规要求”、“设置请求频率与伦理边界”、“建立源站健康度监控”等扩展指令，提升方案的完备性。
氛围描述：为生成的方案文档赋予“清晰、权威、具有技术前瞻性”的文本氛围，避免口语化和随意性。
参数化：将关键变量参数化，例如在采集策略中，将“[起始URL]”、“[目标深度]”、“[关键字段]”作为占位符，方便用户直接替换。


使用建议

请将上述核心提示词视为一个“工作流”按顺序使用，从“目标定义”开始，逐步推进到“结构化”，确保每一步的输出都作为下一步的输入或约束条件。
在实际应用中，请务必将“[ ]”中的示例参数替换为您项目的具体信息，例如具体的知识库主题、目标网站域名、所需字段等。
可将“风格方向”与“构图建议”中的要求，作为补充指令添加到您的核心提示词末尾，以控制生成内容的格式与呈现方式。
本方案生成的是一系列“元提示词”，它们的主要用途是指导您或您的团队生成更具体的技术文档、配置脚本或项目管理卡片，而非直接用于无目标的文本创作。