运维开发网

安装 python 爬虫框架 Scrapy

运维开发网 https://www.qedev.com 2020-03-05 07:58 出处:网络 作者:运维开发网整理
官方安装说明文档:https://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy 

官方安装说明文档:https://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy 

一、scrapy 需要以下依赖

安装 python 爬虫框架 Scrapy

 

二、一般来说,你可以通过以下命令直接安装 Scrapy(依赖会被自动安装)

pip3 install scrapy

注:关于pip 和 pip3 的区别,请看 这里

 

三、一个常见的问题是:安装 twisted 时,会报 “Microsoft visual c++ 14.0 is required” 错误

解决办法有两个:

1、老老实实安装 Visual C++ Build Tools 2015 套件,套件比较大(大概4G),安装时间比较久,传送门:Visual C++ Build Tools 2015

安装 python 爬虫框架 Scrapy

 

2、用安装 whl 文件的方式安装 Twisted

打开:https://www.lfd.uci.edu/~gohlke/pythonlibs/,crtl + f 查找 twisted,选择适合自己的版本下载

安装 python 爬虫框架 Scrapy

注:这个网站打开有点慢,FQ的话,会好一点

 

四、进入 Twisted 的下载目录,shift + 鼠标右键,选择 “在此处打开 Powershell 窗口”,执行以下命令,安装 Twisted

pip3 install Twisted-19.2.1-cp37-cp37m-win32.whl

 

五、正常安装 Scrapy

pip3 install scrapy

 

六、如遇到其他错误,可以重复以上步骤,使用 whl 文件方式安装 python 扩展

官方:https://pypi.org/

非官方:https://www.lfd.uci.edu/~gohlke/pythonlibs/

 


 

本文链接:https://www.cnblogs.com/tujia/p/11169180.html

0

精彩评论

暂无评论...
验证码 换一张
取 消