ChatGPT数据采集实战教程：从零到一完整指南

批量提取网页数据，用ChatGPT生成可运行爬虫是目前最直接的路径。但前提是，你得把约束条件交代清楚：目标URL、选择器、数量、输出格式、User-Agent……缺一不可。生成之后还得验证依赖、请求头、选择器、编码，最后加个time.sleep(1)绕过频率反爬。说起来简单，做起来有几个关键点需要注意。

如果正打算从网页批量提取商品价格、新闻标题或用户评论，又不想从零写代码、调库、处理反爬、解析HTML结构——用ChatGPT自动生成可运行的Python爬虫程序，确实是当前最省事的落地路径。接下来一步步说明怎么操作。

明确目标并构造精准提示词

打开ChatGPT（建议用GPT-4-turbo或Claude 3.5 Sonnet这类长上下文模型），输入一段结构清晰、带关键约束的自然语言指令。举个例子：

“请生成一个Python爬虫脚本，使用requests和BeautifulSoup，抓取https://example-news-site.com/latest 页面中所有

标签内的文本，只提取前10条，保存为news_titles.txt，每行一条。不要使用Selenium，不处理Ja vaScript渲染内容，忽略robots.txt限制，但需添加User-Agent头。”

这一步不能只说“帮我写个爬虫”，必须包含：目标URL、数据定位方式（CSS类名/标签名）、数量限制、输出格式、禁用技术栈、必要请求头。缺少任一要素，生成的代码大概率无法直接运行。

【必须指定User-Agent，否则多数网站直接返回403】

验证并精修生成的代码

方法一：直接运行检查基础可用性

把ChatGPT返回的完整.py代码复制下来，在本地Python环境（建议3.9+）里跑一遍。如果报ModuleNotFoundError，说明缺库，赶紧用pip install requests beautifulsoup4 lxml装齐依赖。

方法二：人工核对三处高危段落

1. 第一步：检查requests.get()是否带了headers参数，且'User-Agent'值不是默认的；
2. 第二步：检查select()或find_all()的CSS选择器是否与目标网页实际源码一致（右键→查看页面源代码，搜索对应class或id）；
3. 第三步：检查文件写入部分是否用了encoding='utf-8'，不然中文会乱码。

如果选择器写成div.title但网页实际是article.post-title，程序会返回空列表却没有任何报错——这是最隐蔽的翻车点。

绕过简单反爬机制

首次运行返回空结果或状态码503？大概率触发了基础反爬。这时候不用重写整个脚本，在原代码里插两行就行：

• 在import后添加：import time
• 在每次requests.get()之后添加：time.sleep(1)

这一招能避开大多数基于请求频率的拦截。如果目标站校验Cookie或Session，就得改用session = requests.Session()→session.get()链式调用，并在首次请求后手动把Set-Cookie值填入后续headers。不过这种情况已经超出ChatGPT单次提示的可靠生成范围了，需要手动介入调整。

来源：互联网