分享python3.6下scrapy的安装，毕竟小甲鱼的视频已经过时啦

大嗄鱼

首先考虑使用最简单的方法安装
pip install scrapy
命令安装，提示

Failed building wheel for Twisted
Microsoft Visual C++ 14.0 is required...

然后肯定是报错啦~~~看过来————

1、直接使用pip install scrapy安装不成功可以安装whl格式的包

首先下载scrapy的whl包

下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

在网页中搜索scrapy找到———Scrapy‑1.5.0‑py2.py3‑none‑any.whl
下载了scrapy的whl包先不要着急安装，接着

2、安装whl格式包需要安装wheel库
pip install wheel

3、scrapy依赖twiste，同样使用whl格式的包进行安装

还是进入http://www.lfd.uci.edu/~gohlke/pythonlibs/，在网页中搜索twisted找到其对应的whl包并下载————Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl

根据你的Python的版本选择合适的包，名称中间的cp36是python3.6的意思，amd64是python的位数



下载完成后使用cmd打开windows的命令行窗口，进入whl包所在的文件夹执行如下命令

pip install [whl]

[whl]是whl包的名字，即：pip install Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl

4、scrapy依赖lxml包，需要先安装lxml包，lxml包依赖libxml2，libxml2-devel，所以安装lxmllibxml2， libxml2-devel。————这个python3.6默认安装了的


5、所有准备工作做完，终于可以安装scrapy包了，进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录
pip install Scrapy‑1.5.0‑py2.py3‑none‑any.whl

6、Successfully ! 先别急着撒花，是否真的安装成功了，还需要验证，输入scrapy -h
显示scrapy的相关信息，大功告成，撒花~~~

大嗄鱼

自己默默顶一下{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}{:10_249:}

ych

嘎鱼自拍照？

像番茄加两个蛋

感谢分享

大嗄鱼

ych 发表于 2018-1-2 17:45
嘎鱼自拍照？

正则爬的图。。。。没图是没人来的

Aaronrua

Python3.6.4 按照楼主的步骤安装scrapy成功，感谢

綉氣

能不能把Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl这个文件上传下 这渣渣网速下不下来

闪电驼

安装成功~~谢谢楼主！

RadioWave

确实没有执行第四步，应该是搞定了

伊尹

隔壁老王wjh

那个网站为啥不能下载了？

zs张三疯

感谢楼主，终于搞定了，补一个twisted链接https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

焰虎

牛逼

HISIOISIH

感谢分享！！

孤星破红尘

感谢分享

孤星破红尘

孤星破红尘

楼主 我的scrapy respons.弹不出xpath 方法 from scrapy.selector import Selector也只是第一次起作用，取到一个selector集合后要遍历又弹不出.xpath 看了很多视频语法基本熟悉，想练手，就是这个.xpath方法一直弹出不来   
用的pycharm  希望楼主能帮下忙。 万分感谢。

MagicChen

下载网址里面的下载链接都已经失效了，求最新的下载地址额