知道可以做什么样的人,是成长的基础。
运行环境:CentOS6.0虚拟机
开始上来先得安装python运行环境。然而我运行了一下python命令,发现已经自带了,窃(大)喜(坑)。于是google搜索了一下安装步骤,pipinstallScrapy直接安装,发现不对。少了pip,于是安装pip。再次pipinstallScrapy,发现少了python-devel,于是这么来回折腾了一上午。后来下载了scrapy的源码安装,突然曝出一个需要python2.7版本,再通过python--version查看,一个2.6映入眼前;顿时千万个草泥马在心中奔腾。
1、升级python
mv/usr/bin/python/usr/bin/python2.6.6_bakln-s/usr/local/bin/python2.7/usr/bin/python#python--versionPython2.7.10到这里,python算是升级完成了,继续安装scrapy。于是pipinstallscrapy,还是报错。
CollectingTwisted>=10.0.0(fromscrapy)CouldnotfindaversionthatsatisfiestherequirementTwisted>=10.0.0(fromscrapy)(fromversions:)NomatchingdistributionfoundforTwisted>=10.0.0(fromscrapy)少了Twisted,于是安装Twisted
2、安装Twisted
3、安装libxlst、libxml2和xslt-config
4、安装cryptography
安装
Nopackage'libffi'found于是下载libffi下载并安装
wgetftp://sourceware.org/pub/libffi/libffi-3.2.1.tar.gztar-zxvflibffi-3.2.1.tar.gzcdlibffi-3.2.1./configuremakemakeinstall安装后发现仍然报错
Packagelibffiwasnotfoundinthepkg-configsearchpath.Perhapsyoushouldaddthedirectorycontaining`libffi.pc'tothePKG_CONFIG_PATHenvironmentvariableNopackage'libffi'found于是设置:PKG_CONFIG_PATH
exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH再次安装scrapy
pipinstallscrapy幸运女神都去哪儿了?
ImportError:libffi.so.6:cannotopensharedobjectfile:Nosuchfileordirectory于是
whereislibffilibffi:/usr/local/lib/libffi.a/usr/local/lib/libffi.la/usr/local/lib/libffi.so已经正常安装,网上搜索了一通,发现是LD_LIBRARY_PATH没设置,于是
exportLD_LIBRARY_PATH=/usr/local/lib于是继续安装cryptography-0.4
pythonsetup.pybuildpythonsetup.pyinstall此时正确安装,没有报错信息了。
5、继续安装scrapy
pipinstallscrapy看着提示信息:
Buildingwheelsforcollectedpackages:cryptographyRunningsetup.pybdist_wheelforcryptography在这里停了好久,在想幸运女神是不是到了。等了一会
6、测试scrapy
创建测试脚本
7、创建自己的scrapy项目(此时换了一个会话)
scrapystartprojecttutorial输出以下信息
8、添加环境变量
exportLD_LIBRARY_PATH=/usr/local/lib再次运行:
scrapystartprojecttutorial输出以下信息:
vi/etc/profile添加:exportLD_LIBRARY_PATH=/usr/local/lib这行(前面的PKG_CONFIG_PATH也可以考虑添加进来,exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH)
注:安装的时候可以留意Libraries安装的路径,以libffi为例:
保存后检查是否存在异常:
source/etc/profile开一个新的会话运行
scrapyrunspidermyspider.py发现正常运行,可见LD_LIBRARY_PATH是生效的。至此scrapy就算正式安装成功了。
查看scrapy版本:运行scrapyversion,看了下scrapy的版本为“Scrapy1.0.0rc2”
9、编程外的思考(感谢阅读到此的你,我自己都有点晕了。)
10、参考文档
tobeabetterme,talkischeapshowmethecode
文中有不妥或者错误的地方还望指出,以免误人子弟。如果觉得本文对你有所帮助不妨【推荐】一下!如果你有更好的建议,可以给我留言讨论,共同进步!