ubuntu scrapy(Ubuntu docker)
大家好，感谢邀请，今天来为大家分享一下ubuntu scrapy的问题，以及和Ubuntu docker的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！
Python安装Scrapy出现以下错误怎么办
scapy安装的错误有几种类型。
因为网络限制，你无法自动下载依赖的库
因为版本冲突问题，导致你安装scapy时无法完成安装，或者是安装无法正确使用
因为编译的位数不同64位和32位不同，导致的问题
解决办法：
简单的解决办法。如果scrapy对你很重要。重新安装一套python2.7然后从头安装scrapy，可以从pypi网站上下载。也可以从unofficial来源，一口气安装好的包。
耐心的解决办法。把scrapy的源码拿过来，执行python setup.py install，遇到哪个包不好用，就替换掉。办法是将那个包的源代码拿过来，先删除site-packages里的相应包，再手工执行python setup.py install。要有心理准备，很可能需要vc++ 2010的编译器。
最简单的办法，使用pip install scrapy。如果你是在ubuntu下面apt-get install python-scrapy就搞定了。
【Python3网络爬虫开发实战】1.8.2-Scrapy的安装
Scrapy是一个功能强大的爬虫框架，其依赖的库包括Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。不同平台环境下所需依赖库各不相同，因此安装前应确保基础库安装到位。以下为Scrapy在不同平台的安装方法。
通过Anaconda安装Scrapy是一种简便的方法，尤其适用于Windows系统，且若已安装Python或Anaconda，此法较为适合。安装步骤如下：
通过conda命令安装Scrapy，无需赘述。
对于非Anaconda环境的Windows用户，可参考以下步骤逐一安装依赖库：
安装lxml：请参见相关章节，确保此库成功安装。
安装pyOpenSSL：通过官方网站下载wheel文件，利用pip安装。
安装Twisted：从指定网站下载wheel文件，使用pip安装。
安装PyWin32：从官方网站下载对应版本的安装包，选择下载并双击安装。
安装完毕依赖库后，使用pip安装Scrapy。
在Linux环境下，根据系统类型（如CentOS、Red Hat、Ubuntu、Debian或Deepin），确保依赖库安装，然后利用pip安装Scrapy。
对于Mac用户，同样需要安装依赖库，具体命令用于构建库，然后使用pip安装Scrapy。
安装完成后，在命令行输入scrapy，检查是否安装成功。
在安装过程中可能出现的错误汇总如下：
pkg_resources.VersionConflict：六包版本过低。升级six包即可解决。
ffi.h文件不存在：安装libffi库以解决。
加密组件缺失：使用pip安装解决。
缺少packaging包：使用pip安装解决。
缺少cffi包：使用pip安装解决。
缺少pyparsing包：使用pip安装解决。
若需获取更多爬虫资讯，欢迎关注个人微信公众号“进击的Coder”。
如何在linux ubuntu 下安装scapy pyx
最近在学习爬虫，早就听说Python写爬虫极爽（貌似pythoner说python都爽，不过也确实，python的类库非常丰富，不用重复造轮子），还有一个强大的框架Scrapy，于是决定尝试一下。
要想使用Scrapy第一件事，当然是安装Scrapy，尝试了Windows和Ubuntu的安装，本文先讲一下 Ubuntu的安装，比Windows的安装简单太多了。抽时间也会详细介绍一下怎么在Windows下进行安装。
官方介绍，在安装Scrapy前需要安装一系列的依赖.
* Python 2.7： Scrapy是Python框架，当然要先安装Python，不过由于Scrapy暂时只支持 Python2.7，因此首先确保你安装的是Python 2.7
* lxml：大多数Linux发行版自带了lxml
* OpenSSL：除了windows之外的系统都已经提供
* Python Package: pip and setuptools.由于现在pip依赖setuptools,所以安装pip会自动安装setuptools
有上面的依赖可知，在非windows的环境下安装 Scrapy的相关依赖是比较简单的，只用安装pip即可。Scrapy使用pip完成安装。
检查Scrapy依赖是否安装
你可能会不放心自己的电脑是否已经安装了，上面说的已经存在的依赖，那么你可以使用下面的方法检查一下，本文使用的是Ubuntu 14.04。
检查Python的版本
$ python--version
如果看到下面的输出，说明Python的环境已经安装，我这里显示的是Python 2.7.6，版本也是2.7的满足要求。如果没有出现下面的信息，那么请读者自行百度安装Python，本文不介绍Python的安装（网上一搜一堆）。
检查lxml和OpenSSL是否安装
假设已经安装了Python，在控制台输入python，进入Python的交互环境。
然后分别输入import lxml和import OpenSSL如果没有报错，说明两个依赖都已经安装。
安装python-dev和libevent
python-dev是linux上开发python比较重要的工具，以下的情况你需要安装
*你需要自己安装一个源外的python类库,而这个类库内含需要编译的调用python api的c/c++文件
*你自己写的一个程序编译需要链接libpythonXX.(a|so)
libevent是一个时间出发的高性能的网络库，很多框架的底层都使用了libevent
上面两个库是需要安装的，不然后面后报错。使用下面的指令安装
$sudo apt-get install python-dev
$sudo apt-get install libevent-dev
安装pip
因为Scrapy可以使用pip方便的安装，因此我们需要先安装pip，可以使用下面的指令安装pip
$ sudo apt-get install python-pip
使用pip安装Scrapy
使用下面的指令安装Scrapy。
$ sudo pip install scrapy
记住一定要获得root权限，否则会出现下面的错误。
至此scrapy安装完成，使用下面的命令检查Scrapy是否安装成功。
$ scrapy version
显示如下结果说明安装成功，此处的安装版本是1.02
