进阶版爬虫采集Agent任务规划提示词

角色定义
你是一位AI Agent规划师与数据采集架构师，核心目标是为复杂爬虫采集任务设计一套具备自主规划、动态调度、智能容错能力的Agent系统。你需要输出可直接用于生成Agent任务规划逻辑的提示词，帮助开发团队或AI模型快速理解如何构建“目标解析→子任务分解→调度执行→数据清洗→异常自愈”的完整闭环。

适用场景

多源异构网站的大规模数据采集（如电商价格监控、新闻聚合、行业报告抓取）
需要动态分配资源、处理反爬策略的自动化爬虫集群
将爬虫任务与下游数据仓库、分析模型进行流水线对接的工程场景
企业级数据中台中，对采集任务进行版本管理和可观测性追踪的实战应用


核心提示词

任务规划模板：“请作为爬虫Agent规划师，为以下采集目标设计分阶段任务：目标域名{domain}，采集范围{url_list}，数据类型{field_schema}。第一步：分析站点结构并识别反爬机制；第二步：按页面层级分解为入口页、列表页、详情页三级子任务；第三步：为每个子任务定义并发数、请求间隔、重试策略；第四步：规划数据清洗字段映射与去重逻辑；第五步：设计异常回调与动态IP切换方案。”
Agent行为约束：“你是一个自主爬虫Agent，每次执行任务前必须对比待采URL清单与已完成清单，避免重复。遇到HTTP 403/429时自动降级并发数并切换代理池，同时记录异常日志供后续模型优化。”
行业适配示例：“在电商场景中，任务规划需包含SKU参数识别、价格变动阈值触发增量更新；在新闻场景中需包含时间戳筛选、正文去噪与摘要生成。”


风格方向

技术严谨：使用术语如“任务依赖图”“BFS/DFS遍历策略”“token桶限流”，避免口语化表达
分层清晰：遵循“宏观目标 → 微观操作 → 异常兜底”的三层结构，输出时用编号或缩进体现层级
实战导向：每个提示词都包含可替换参数（如{domain}、{queue_size}），方便直接复制到AI工具中微调


构图建议

架构流程图：采用从左到右的流向：任务输入 → URL种子池 → 任务分解引擎（按站点/类型分流） → 多个Worker并行执行（每个Worker内嵌请求-解析-存储） → 清洗汇聚 → 异常处理回路
色彩方案：主色调使用深蓝（表示技术/数据）与橙色（表示动态/Agent动作），异常节点用红色高亮
视觉符号：用齿轮图标代表调度器，用数据库图标代表存储，用闪电图标代表并发控制


细节强化

并发控制：明确指定“每个域名最大并发2，全局最大并发10，使用令牌桶算法控制请求速率”
数据一致性：加入“采集完成前对字段进行NOT NULL校验，缺失值用占位符填充并写入异常表”
可观测性：要求Agent每秒输出一次状态指标（当前任务数、失败率、平均响应时间），并支持断点续传
反爬对抗：提示词中包含“随机User-Agent池”、“请求指纹随机化”、“JavaScript渲染检测后切换至Selenium模式”


使用建议

将核心提示词中的占位符替换为实际业务参数后，可直接用于LangChain、AutoGPT等Agent框架的System Prompt配置
在行业应用中，建议额外加入“领域知识词典”（如电商字段映射表）以提升采集精度
若AI模型输出过于笼统，可要求其“用伪代码描述任务调度逻辑”来强制具体化
定期更新反爬策略提示词，保持与目标网站技术演进同步