安装python爬虫scrapy踩过的那些坑和编程外的思考秋楓

知道可以做什么样的人,是成长的基础。

运行环境:CentOS6.0虚拟机

开始上来先得安装python运行环境。然而我运行了一下python命令,发现已经自带了,窃(大)喜(坑)。于是google搜索了一下安装步骤,pipinstallScrapy直接安装,发现不对。少了pip,于是安装pip。再次pipinstallScrapy,发现少了python-devel,于是这么来回折腾了一上午。后来下载了scrapy的源码安装,突然曝出一个需要python2.7版本,再通过python--version查看,一个2.6映入眼前;顿时千万个草泥马在心中奔腾。

1、升级python

mv/usr/bin/python/usr/bin/python2.6.6_bakln-s/usr/local/bin/python2.7/usr/bin/python#python--versionPython2.7.10到这里,python算是升级完成了,继续安装scrapy。于是pipinstallscrapy,还是报错。

CollectingTwisted>=10.0.0(fromscrapy)CouldnotfindaversionthatsatisfiestherequirementTwisted>=10.0.0(fromscrapy)(fromversions:)NomatchingdistributionfoundforTwisted>=10.0.0(fromscrapy)少了Twisted,于是安装Twisted

2、安装Twisted

3、安装libxlst、libxml2和xslt-config

4、安装cryptography

安装

Nopackage'libffi'found于是下载libffi下载并安装

wgetftp://sourceware.org/pub/libffi/libffi-3.2.1.tar.gztar-zxvflibffi-3.2.1.tar.gzcdlibffi-3.2.1./configuremakemakeinstall安装后发现仍然报错

Packagelibffiwasnotfoundinthepkg-configsearchpath.Perhapsyoushouldaddthedirectorycontaining`libffi.pc'tothePKG_CONFIG_PATHenvironmentvariableNopackage'libffi'found于是设置:PKG_CONFIG_PATH

exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH再次安装scrapy

pipinstallscrapy幸运女神都去哪儿了?

ImportError:libffi.so.6:cannotopensharedobjectfile:Nosuchfileordirectory于是

whereislibffilibffi:/usr/local/lib/libffi.a/usr/local/lib/libffi.la/usr/local/lib/libffi.so已经正常安装,网上搜索了一通,发现是LD_LIBRARY_PATH没设置,于是

exportLD_LIBRARY_PATH=/usr/local/lib于是继续安装cryptography-0.4

pythonsetup.pybuildpythonsetup.pyinstall此时正确安装,没有报错信息了。

5、继续安装scrapy

pipinstallscrapy看着提示信息:

Buildingwheelsforcollectedpackages:cryptographyRunningsetup.pybdist_wheelforcryptography在这里停了好久,在想幸运女神是不是到了。等了一会

6、测试scrapy

创建测试脚本

7、创建自己的scrapy项目(此时换了一个会话)

scrapystartprojecttutorial输出以下信息

8、添加环境变量

exportLD_LIBRARY_PATH=/usr/local/lib再次运行:

scrapystartprojecttutorial输出以下信息:

vi/etc/profile添加:exportLD_LIBRARY_PATH=/usr/local/lib这行(前面的PKG_CONFIG_PATH也可以考虑添加进来,exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH)

注:安装的时候可以留意Libraries安装的路径,以libffi为例:

保存后检查是否存在异常:

source/etc/profile开一个新的会话运行

scrapyrunspidermyspider.py发现正常运行,可见LD_LIBRARY_PATH是生效的。至此scrapy就算正式安装成功了。

查看scrapy版本:运行scrapyversion,看了下scrapy的版本为“Scrapy1.0.0rc2”

9、编程外的思考(感谢阅读到此的你,我自己都有点晕了。)

10、参考文档

tobeabetterme,talkischeapshowmethecode

文中有不妥或者错误的地方还望指出,以免误人子弟。如果觉得本文对你有所帮助不妨【推荐】一下!如果你有更好的建议,可以给我留言讨论,共同进步!

THE END
1.iPatch项目常见问题解决方案iPatchGUI tool to inject dynamic libraries into IPA files 项目地址: https://gitcode.com/gh_mirrors/ip/iPatch 项目基础介绍 iPatch 是一个用于将动态库注入到 IPA 文件中的 GUI 工具。IPA 文件是 iOS 应用程序的压缩版本,用户可以通过在线获取或使用工具如 flexdecrypt 和 CrackerXI+ 来获得 IPA 文件。ihttps://blog.csdn.net/gitblog_00115/article/details/144394186
2.eclipse怎么安装eclipse怎么安装 Eclipse是一款功能强大的集成开发环境(IDE),支持多种编程语言,如Java、C/C++、PHP等,是广大开发者常用的开发工具。本文将详细介绍Eclipse的安装步骤,帮助初学者顺利安装这款软件。 首先,前往Eclipse官网下载Eclipse安装包。在浏览器中输入Eclipse的官方网址:[https://www.eclipse.org/](https://www.https://g.pconline.com.cn/x/185/18514199.html
3.液体收集器系统HH的安装指南如何正确安装并确保其高效工作由于液体收集系统的设计较为复杂,因此正确的安装方式对于其后期的使用效果至关重要。在这篇文章中,我们将详细介绍液体收集器系统HH的安装步骤,以及安装过程中的注意事项,帮助大家顺利完成设备的安装并确保其长期稳定运行。 液体收集器系统HH通常由收集容器、管道系统、阀门装置、排放装置等部件组成。每个组件的正确安装http://m.huassin.com/huassin4/32490.html
4.KeyarchOS适配vodovod1.10r2233 安装与测试 3.1root权限下安装vodovod-1.10r22-3 https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/v/vodovod-1.10r22-3.el7.x86_64.rpm 下载安装包vodovod-1.10r22-3.el7.x86_64.rpm,上传服务器 准备下列依赖包 libmikmod-3.2.0-21.el7.x86_64.rpm https://zhuanlan.zhihu.com/p/10749989024
5.yum安装libraries51CTO博客已为您找到关于yum 安装 libraries的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及yum 安装 libraries问答内容。更多yum 安装 libraries相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/yumanzhuanglibraries.html
6.SeleniumSelenium automates browsers. That's it!http://www.seleniumhq.org/
7.安装ContentLibraries时Revit安装挂起问题: 安装Revit时,安装Revit Content Libraries组件期间,该过程似乎冻结或挂起。 原因: 从Internet下载内容包时,Revit安装过程可能会停止。延迟的长度因可用带宽和请求的内容量而异。 解决方案: 请等待一段时间完成此过程;如果安装在较长时间后仍挂起或冻结,请尝试http://knowledge.autodesk.com/zh-hans/support/revit/learn/caas/sfdcarticles/sfdcarticles/CHS/Installation-stalls-for-Revit-2020-Content-Libraries.html
8.NoteExpress软件,下载安装好,已经使用过一点时间,可不知怎么回事NE(NoteExpress)的数据以两种方式保存,第一种是题录,笔记等信息,其保存在ne的数据库文件(*.nel)中,其默认保存位置为 C:\Documents and Settings\您的用户名\My Documents\NoteExpress2\Libraries\Sample.nel,我们建议您新建一个数据库文件在非系统盘(打开ne,文件-新建数据库-选择保存的位置(最新版本中已经增加附https://lib.shnu.edu.cn/bc/8e/c26372a703630/page.htm
9.安装扩展包(InstallExternalLibraries)Data Collector 会罗列出所有已经安装好的扩展包。 在右上角工具栏的下方, 点击 Install External Libraries 图标: nstallExtLib.png 在安装扩展包的对话框中, 选择扩展包对应的stage 库。 举例说明, 如果你要按照 JDBC Multitable Consumer源需要的JDBC驱动,选择JDBC stage 库。如果你要给 Groovy Evaluator processohttps://www.jianshu.com/p/20bec5db2122
10.BIM软件小技巧:Revit安装常见问题Revit3D设计1、安装日志文件中显示部分产品无法安装,出现1603错误。 Install.NETFrameworkRuntime4.5FailedInstallationaborted,Result=1603 找到导致安装失败的组件名称,到控制面板,单击“卸载” 当程序删除后,再次运行Autodesk安装程序 建议使用MicrosoftFixit 2、RevitContentLibraries安装慢或者没安装 https://www.ruanfujia.com/214650/
11.BIM软件小技巧:Revit安装常见问题2、Revit Content Libraries 安装慢或者没安装 延迟时间的长短取决于可用带宽和需要下载的内容大小,如果在遇到次问题时断开 Internet连接,安装过程将继续进行,但会跳过Revit内容 解决方法:若要去报下载内容未被阻止,确认Autodesk.com是受信任的站点 打开Internet选项对话框,单击安全选项卡 https://www.douban.com/note/516924913/
12.CreativeCloudLibraries面板停止工作Creative Cloud Libraries 安装程序:Windows|Mac 注意: 在macOS 上,当您尝试运行安装程序包时可能会收到错误。请按照以下文档中的步骤运行该安装程序:https://helpx.adobe.com/cn/creative-cloud/kb/install-creative-cloud-mac-os-sierra.html 更多此类内容 https://helpx.adobe.com/cn/creative-cloud/kb/libraries-panel-not-working.html
13.桌面云中,AgilentIOLibrariesSuite无法安装成功的解决办法1、 在Agilent IO Libraries Suite\Installer文件夹内的Agilent IO Libraries Suite 15.0.msi右键,选择属性-》兼容性,勾选以兼容模式运行这个程序。 2、 然后双击Agilent IO Libraries Suite\Installer文件夹内的setup.exe即可正常安装。 根因 windows7系统自身的兼容性存在问题。https://support.huawei.com/enterprise/en/knowledge/EKB1000037411
14.VulkanRuntimeLibraries是什么软件?读完这篇某些游戏,比如塔罗斯的法则、极品飞车、毁灭战士、Dota2等等,都需要系统安装了Vulkan Runtime Libraries才能正常运行。所以喜欢打游戏的朋友,你的电脑可能不知不觉就安装了这款软件。 综上所述,如果你没有游戏运行的需求,卸载Vulkan Runtime Libraries不会对系统运行造成影响。但如果卸载Vulkan Runtime Libraries之后,某https://zealer.com/video/1107035
15.GameRuntimeLibrariesPackage游戏常用运行库一键安装包Game Runtime Libraries Package是一个最新最全的常用运行库合集,一些大型的单机游戏中都需要在电脑中安装运行库安装包之后才能玩,有的单机游戏必须安装不同的运行库安装包。Steam游戏必备运行库安装包包含了VC++运行库合集,.NET2.0到.NET4.7合集,DirectX9.0 Rapture3D 等游戏必备的系统组件,如果你的游戏安装后无法运行https://www.qiqiboke.com/31778.html
16.linuxAestivating'sBlogPage2noinst_LIBRARIES=libswap.a libswap_a_SOURCES=swap.c INCLUDES=-I$(top_srcdir)/src/includ 细 心的读者可能就会问:怎么表1中给出的是bin_LIBRARIES,而这里是noinst_LIBRARIES?这是因为如果只想编译,而不想 安装到系统中,就用noinst_LIBRARIES代替bin_LIBRARIES,对于可执行文件就用noinst_PROGRAMS代替 bin_PROhttps://aestivating.wordpress.com/tag/linux/page/2/
17.安装php后启动失败errorwhileloadingsharedlibraries面板、插件版本:7.9.8 系统版本:CentOS7.6 问题描述:通过商店安装PHP7.2完成后,启动报错/www/https://www.bt.cn/bbs/thread-114614-1-1.html
18.ARMDS5怎么破解?ARMDS这里提供ARM DS-5破解安装破解+配置使用教程,仅供参考! ARM DS-5 Development Studio v5.26.0 注册机 绿色特别版(附破解教程) 32/64位 类型:编程工具 大小: 类型:编程工具 大小: ARM Development Studio 5 64位 v5.26.2 官方免费版(附使用教程)https://www.jb51.net/softjc/613526_all.html
19.revit安装卡在contentlibraries同理,设置族样板文件默认路径(C:ProgramDataAutodeskRVT 2018Family TemplatesChinese);点击③中“放置(P)”分别设置族调取的路径(C:ProgramDataAutodeskRVT 2018LibrariesChina)。四、卸载Revit Autodesk官方对近几年推出的新版本软件都提供了专用的卸载工具,在安装软件的同时也安装了卸载工具。单https://zhidao.baidu.com/question/1948115937012461908.html