爬取漫画图片残缺？分块传输编码TE该怎么解决？

解决漫画网站图片爬取不完整问题

许多漫画网站为了优化图片加载速度，使用了分块传输编码（chunked transfer encoding，简称TE）技术。这会导致爬虫获取到的图片数据不完整，从而显示残缺。这不是浏览器问题，而是服务器端传输方式造成的。

分块传输编码 (TE) 原理

TE 允许服务器分块发送数据，无需预先知道总数据量。这虽然提高了传输效率，但对爬虫来说，需要特殊处理才能完整接收图片。

Python 爬虫中禁用 TE

为了避免图片残缺，我们需要在HTTP请求中禁用TE。通过设置 Transfer-Encoding 请求头为 identity，即可告知服务器不使用分块传输。以下为Python代码示例：

import requests# 设置请求头，禁用分块传输编码headers = {'Transfer-Encoding': 'identity'}# 发起HTTP请求response = requests.get(url, headers=headers, stream=True)# stream=True 逐块读取，更节省内存# 保存图片with open('image.jpg', 'wb') as f:for chunk in response.iter_content(chunk_size=8192):# 逐块写入，避免内存溢出f.write(chunk)

登录后复制

通过以上方法，爬虫就能完整接收图片数据，解决图片残缺问题。注意 stream=True 和 iter_content 的使用，这能有效避免内存溢出，尤其在处理大型图片时非常重要。