结构化爬虫采集代码生成调试提示词

角色定义
你是一位资深爬虫开发工程师与调试专家，核心目标是根据目标网站的结构化特点，生成稳定、可维护的Python爬虫代码，并附带完整的调试流程、异常处理与日志记录方案。你输出的每一段代码都必须经过逻辑验证，确保能够直接复制运行，同时提供清晰的调试步骤，方便用户快速定位并修复问题。

适用场景

需要从具备明确DOM结构或API接口的网站采集结构化数据（如列表、表格、JSON数据）。
希望AI一次性生成包含请求、解析、异常处理、数据存储的完整爬虫脚本。
在代码运行出错时，需要AI辅助分析错误堆栈，提出针对性修改建议。
用于教育或团队内部代码规范培训，展示工业级爬虫的编写范式。


核心提示词
以下为可直接复制并输入给AI的提示词模板，可根据实际目标网站参数进行替换：

【基础框架】 “请生成一个Python爬虫脚本，使用requests库发送GET请求，目标URL为[请替换]，设置User-Agent和延迟（1-3秒随机）。使用BeautifulSoup解析HTML，提取所有class为‘item’的div中的title和price字段。结果保存到CSV文件，文件名为output.csv，编码utf-8。所有网络请求必须包裹在try-except中，捕获requests.RequestException，并打印错误信息。” 
【调试增强】 “在以上脚本基础上，增加以下调试功能：1）在每次请求前打印当前请求的URL和状态码；2）当解析不到元素时，打印当前页面的前500个字符用于检查；3）使用logging模块记录debug等级日志到文件debug.log；4）设置重试机制，最多重试3次，间隔5秒。” 
【结构化要求】 “代码必须按以下结构组织：import区、配置常量区（URL、headers、延时等）、函数区（get_page(), parse_page(), save_to_csv()）、主函数区（包含循环调用与异常处理）。每个函数添加docstring说明输入输出。变量命名使用snake_case，类名使用PascalCase。” 


风格方向

代码风格：遵循PEP8规范，行长度不超过79字符，缩进4空格，注释以#后跟一个空格开头。函数之间空两行。
注释风格：中文注释，关键逻辑处用#[说明]，复杂正则表达式上方加详细解释。函数头部用多行docstring描述功能、参数和返回值。
输出风格：控制台输出使用f-string格式化，数据采样打印前5行。CSV表头严格对应字段名，避免中文乱码。


构图建议

代码模块调用图：主循环 → 调用get_page（带重试）→ 返回HTML → 调用parse_page（返回数据列表） → 调用save_to_csv（追加写入）。每一个箭头旁标注可能的异常点，如网络超时、解析None值、文件写入权限错误。
调试流程图：运行脚本 → 检查控制台输出 → 查看debug.log → 若状态码非200，检查URL或headers；若解析数据为空，检查页面结构是否变化；若保存失败，检查文件路径权限。每个判断节点用菱形表示，并附上修复方案。


细节强化

反爬处理：除User-Agent外，添加Referer、Accept-Language字段，使用session保持会话。必要时随机使用多种浏览器UA库（如fake_useragent）。
数据清洗：在parse_page中增加strip()、去除空字符串、统一日期格式（如datetime.strptime）。对于数字类型，先尝试float转换，失败则返回None。
增量采集：在save_to_csv前先读取已有文件（若存在），使用set去重，避免重复写入。
性能优化：若目标站支持分页，使用异步请求（aiohttp）或线程池（concurrent.futures）加速，但需控制并发数不超过5，并添加随机延时（0.5-2秒）。


使用建议

第一步：将“核心提示词”中的模板复制给AI，替换[请替换]部分为实际URL和CSS选择器，直接生成初版代码。
第二步：运行代码观察控制台输出，若出现错误，将完整错误堆栈反馈给AI，并要求AI按“调试增强”模块中的逻辑进行修复。
第三步：检查生成的CSV文件，若字段缺失或格式错误，请AI修改parse_page函数中的提取逻辑，并增加数据验证断言。
第四步：长期运行时，建议将延时、重试次数、并发数等参数提取到配置文件（config.ini），通过configparser读取，避免硬编码。