开始你的第一个scrapy项目吧 scrapy安装与验证创建第一个scrapy项目创建爬虫文件爬虫文件各参数含义运行爬虫文件 scrapy安装与验证
scrapy安装：
pip install scrapy验证安装：
pip list在pycharm中，点击file——settings——project——python interpreter——点击+号——搜索scrapy——install package！
创建第一个scrapy项目控制台输入cd/d 然后将想要放置的项目位置拖过来即可！
管理员身份下好像不能拖？我是直接双击！
键入命令：scrapy_baidu是我起的名字，大家可以按照自己的更改！
名字不能以数字开头，也不能是中文，否则后续会报错奥！
scrapy startproject scrapy_baidu接下来，我们可以在其中看到如下！
创建爬虫文件一定要在spiders目录下创建爬虫文件！
首先我们来看其目录结构，然后再看怎么写命令！ 接下来我们看看当前进入的目录，再看看怎么写命令！
于是 项目名\项目名\spiders 即可进入目录！
再来创建第一个文件吧！
baidu是我起的文件名，大家也可以自行更改奥！
https://·是我想爬取的网页，大家也可以自行更改奥！
scrapy genspider baidu https://·注意一般创建爬虫文件不加http协议的，具体见下文注释。
爬虫文件各参数含义 import scrapy class BaiduSpider(scrapy.Spider): # 爬虫的名字 用于运行爬虫的时候 要用的名字 name = 'baidu' # 允许访问的域名 allowed_domains = ['https://·'] # 起始的url地址 指的是第一次要访问的域名 # start_urls是在allowed_domains的前面加上http:// 然后在后面加上/ 一般情况下创建文件的时候不需要加http协议 如果添加了手动删掉 start_urls = ['https://·/'] # 是执行了start_urls之后执行的方法 方法中的response就是返回的对象 相当于requests.get() def parse(self, response): print("2022考研加油！")我们想要执行的内容，就在方法体中书写！
运行爬虫文件 scrapy crawl 爬虫的名字好像做了反爬，我们看看robots.txt文件！
还挺多！
下面来改settings！
ROBOTSTXT_OBEY = False结果来啦！
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签： #install #scrapy验证安装pip
