实战型爬虫采集代码辅助开发提示词

角色定义与任务定位
请以“实战型爬虫开发工程师”的身份，运用本提示词方案。你的核心目标是：快速生成或优化可直接运行、具备良好健壮性与可维护性的网络爬虫代码，以高效、准确、合规地完成特定目标网站的数据采集任务。
适用场景

需要快速为特定网站（如电商、新闻、论坛）编写数据抓取脚本。
对现有爬虫代码进行优化，提升其稳定性（应对反爬）、效率或代码结构。
学习或参考针对不同反爬策略（如验证码、频率限制、动态加载）的实战解决方案。
构建具有基础数据清洗、去重与存储功能的爬虫模块。

核心提示词
以下提示词可直接或组合使用，向代码生成模型（如ChatGPT、Claude等）提出请求：

“使用Python的requests和BeautifulSoup库，编写一个爬取[目标网站URL]中[具体数据，如商品标题、价格、评论数]的脚本，要求添加随机User-Agent和请求延迟。”
“为目标网站[网站URL]编写一个处理JavaScript动态加载内容的爬虫，使用Selenium或Playwright，并实现显式等待和页面滚动。”
“优化以下爬虫代码[粘贴原有代码]，增加异常处理（连接超时、解析错误）、日志记录功能，并考虑将数据存储到MySQL/CSV文件。”
“设计一个遵守robots.txt、具有IP轮换或使用代理池概念的爬虫架构伪代码。”

风格方向

代码风格：强调PEP 8规范，模块化设计（分离请求、解析、存储逻辑），注释清晰。
工程风格：偏向工业级实践，注重错误处理、配置化管理（如将URL、Headers抽取为配置）、可扩展性。
文档风格：生成的代码应附带简要的使用说明和依赖项列表。

“构图”建议（代码结构）

分层结构：建议代码结构为：主入口 -> 配置模块 -> 网络请求管理器 -> 数据解析器 -> 数据存储器 -> 日志/监控模块。
流程清晰：在提示中明确要求代码步骤：1. 发送HTTP请求（带Headers）；2. 处理响应（状态码判断、编码处理）；3. 解析内容（XPath/CSS选择器）；4. 数据清洗；5. 持久化存储；6. 礼貌延迟。
重点突出：针对反爬，将代理设置、请求头伪装、会话维持等关键代码段放在显眼位置。

细节强化

反爬对抗：明确要求模拟真实浏览器指纹、处理Cookie、实现验证码识别接口调用（如第三方服务）、设置随机延迟（time.sleep(random.uniform(1,3))）。
健壮性：强化重试机制（使用retrying库）、超时设置、应对网站结构变化的容错解析（try-except块）。
数据质量：加入去重逻辑（如基于MD5）、数据格式校验（字段非空检查）、编码统一（确保中文不乱码）。
资源管理：对于Selenium/Playwright，要求正确关闭浏览器驱动，释放资源。

使用建议

将核心提示词中的“[ ]”占位符替换为您的具体目标信息，这是生成有效代码的关键。
在请求生成代码时，分步进行：先生成基础爬取功能，再逐步增加代理、异常处理等高级特性。
生成的代码务必在可控环境中测试运行，遵守目标网站的`robots.txt`协议及相关法律法规。
本方案提示词可作为您与AI编程助手对话的起点和框架，根据实际响应进行多轮迭代和细化提问，以得到最优代码。