购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

3.3 Scrapy安装

Scrapy作为一个强大的爬虫框架,需要依赖于很多库。幸运的是,前面我们安装了Anaconda,它已经帮我们安装好了Scrapy所有的依赖库。因此,无论在哪个操作系统,安装Scrapy就非常简单了。

3.3.1 使用pip安装Scrapy

这里还是使用pip安装Scrapy框架,命令如下:


>pip install scrapy

3.3.2 常见安装错误

因为系统环境的差异,在安装Scrapy时,有时会出现各种意想不到的错误。例如,使用pip安装Scrapy时遇到Microsoft Visual C++14.0 is required错误,如图3-3所示。

图3-3 Scrapy安装时出现的错误

解决方法1

如果使用pip安装失败,可以试着使用Conda安装Scrapy,执行如下命令:


>conda install -c scrapinghub scrapy

安装过程中,可能会有升级Conda的提示,根据提示选择y就可以了,如图3-4所示。

图3-4 使用Conda安装Scrapy

解决方法2

根据提示可知,错误是由安装Twisted导致的,所以需要先安装Twisted。Twisted的下载地址为 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ,如图3-5所示。根据Python和操作系统的版本,选择对应的whl下载文件即可。其中,cp后面的数字是依赖的Python版本,amd64表示64位操作系统。下载完后,定位到Twisted安装包所在路径,执行以下命令安装Twisted。


>pip install Twisted-19.2.0-cp35-cp35m-win_amd64.whl

图3-5 Twisted下载页

成功安装Twisted后,就可以使用pip命令安装Scrapy了。

3.3.3 验证安装

Scrapy安装完成后,需要验证安装是否成功。在Python解释器界面,输入如下代码:


>import scrapy

运行代码后,如果没有错误提示信息,说明Scrapy已经安装成功。 Oe4wMrFu7g9G9DhYrnCqAc/b1EOTxWprSDHIhaRjamQuWoqSTFF/R+WrbbLl7dHk

点击中间区域
呼出菜单
上一章
目录
下一章
×