Scrapy允许使用中间件干预数据的抓取过程，以及完成其他数据处理工作。其中一类非常重要的中间件就是下载器中间件。下载器中间件可以对数据的下载和处理过程进行拦截。在Scrapy爬虫中，数据下载和处理分下面两步完成。
指定Web资源的Url，并向服务端发送请求。在这一步需要依赖于爬虫类的start_urls变量或start_requests方法。 当服务端相应Scrapy爬虫的请求后，就会返回响应数据，这时系统会将响应数据再交由Scrapy爬虫处理，也就是调用爬虫类的请求回调方法，如parse。1. 核心方法
下载器中间件可以对这两步进行拦截。当爬虫向服务端发送请求之前，会通过下载器中间件类的process_request方法进行拦截，当爬虫处理服务端响应数据之前，会通过下载器中间件类的process_response方法进行拦截。
除了这两个方法外?
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签： #下载中间件爬虫
