一、安装Python2.7.6
更新CentOS lib库文件
yum -y update
安装开发工具包
yum groupinstall -y development
安装扩展包
yum install -y gcc libffi-devel zlib-dev openssl-devel sqlite-devel bzip2-devel
下载Python2.7.11
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
解压Python2.7.11
tar -xvf Python-2.7.11.tar.xz
进入Python2.7.11目录
cd Python-2.7.11
编译安装Python2.7.11
./configure
make && make install
二、解决Yum不支持Python2.7的问题
将老的Python程序进行备份
mv /usr/bin/python /usr/bin/python2.6.6
建立新的Python链接
ln -s /usr/local/bin/python2.7 /usr/bin/python
修改/usr/bin/yum文件
vi /usr/bin/yum
将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6
三、安装setuptools 和 pip
下载setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
解压setuptools
tar -xvf setuptools-1.4.2.tar.gz
进入setuptools目录
cd setuptools-1.4.2
通过已安装的Python2.7.6安装setuptools
python setup.py install
安装 pip
easy_install pip
curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -
四、安装libxslt-devel支持lxml
yum install libxslt-devel
五、安装Scrapy
pip install scrapy
六、安装MySQL-python
通过yum安装MySQL-python不知道为什么不成功
自己下载安装就可以成功,命令如下
wget http://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/MySQL-python-1.2.3.tar.gz/download
tar zxf MySQL-python-1.2.3.tar.gz && cd MySQL-python-1.2.3
python setup.py build
python setup.py install
如果在执行python setup.py build时,报EnvironmentError: mysql_config not found的话,先查找mysql_config的位置,使用find / -name mysql_config,我的是在/usr/local/mysql/bin/mysql_config,然后修改MySQL-python-1.2.3目录下的site.cfg文件,去掉mysql_config=XXX这行的注释,并改成mysql_config=/usr/local/mysql/bin/mysql_config,以自己机器的为准.
再执行下命令就可以了
python setup.py build
python setup.py install
七、安装Pillow
先安装依赖包
sudo yum install libtiff-devel libjpeg-devel libzip-devel freetype-devel lcms2-devel libwebp-devel tcl-devel tk-devel
然后执行
pip install Pillow
分享到:
相关推荐
未维护如果您需要Scrapy的浏览器集成,请考虑使用Scrapy的...要求Python 3.6+ Scrapy 2.0+ 皮皮特0.0.23+安装$ pip install scrapy-pyppeteer配置通过替换默认的http和https下载处理程序: DOWNLOAD_HANDLERS = { ...
scrapy的所有依赖文件打包(不包含scrapy文件),scrapy文件可以自行安装pip后,用pip安装 命令为:pip install scrapy==1.0.5 scrapy1.0.5中文文档地址 ...
pip install pyinstaller ``` 接着,我们以`crawl.py`为例,这是Scrapy项目的入口文件,通常包含项目的启动逻辑。你需要在这个文件中定义你的Scrapy爬虫,并确保它能在独立的环境中运行。例如,你可能需要在`crawl....
在命令行中输入`pip install scrapy`,等待安装完毕。安装成功后,可以通过`pip list`命令查看已安装的库,确认Scrapy是否在列表中。 Scrapy安装完成后,你可以开始创建和运行你的第一个爬虫项目。使用命令`scrapy ...
1. 安装Scrapy:`pip install scrapy` 2. 创建项目:`scrapy startproject project_name` 3. 在项目目录下创建Spider:`cd project_name && scrapy genspider spider_name domain.com` 4. 编写Spider代码:定义...
* win+R打开命令行窗口,输入pip install Scrapy * 若安装失败,解决方案:更换安装源(推荐使用豆瓣源),例如:pip install -i https://pypi.douban.com/simple Scrapy 九、测试Scrapy安装 * win+R进入命令行...
pip install scrapy ``` 如果遇到权限问题,可以尝试加上`sudo`。 创建Scrapy项目: ```bash scrapy startproject project_name ``` 这将在当前目录下创建一个名为`project_name`的新Scrapy项目。 编写爬虫: 在...
pip install scrapy ``` 安装完成后,我们可以通过`scrapy startproject`命令创建一个新的Scrapy项目。例如,我们可以创建一个名为`myfendo`的项目: ```bash scrapy startproject myfendo ``` 这将在当前目录下...
针对Python 3.8.2版本,安装Scrapy及其相关依赖可能会遇到一些常见问题,特别是当使用`pip install`命令时。 首先,让我们详细了解一下Scrapy的基本组件和它依赖的一些关键库: 1. **Twisted**: Scrapy基于Twisted...
pip install scrapy ``` 这个命令会自动处理Scrapy及其所有依赖的安装,确保你在开发过程中拥有一个完整的环境。Scrapy依赖于许多其他Python库,例如Twisted(异步网络库)、w3lib(HTML和URL处理库)、PyQuery...
- 打开命令行终端,输入`pip install scrapy`。这个命令会下载并安装Scrapy及其依赖,如Twisted网络库等。 - 安装完成后,你可以通过输入`scrapy --version`来确认Scrapy是否安装成功。 5. **测试Scrapy**: - ...
pip install scrapy ``` 创建一个新的Scrapy项目,可以使用以下命令: ``` scrapy startproject bole_crawler ``` 这将在当前目录下创建一个名为`bole_crawler`的项目结构。 接下来,我们需要定义一个Spider。在`...
安装Scrapy通常使用`pip`命令,例如`pip install scrapy`。如果需要更新某个第三方库,如`pypiwin32`或`twisted`,则使用`pip install --upgrade 库名`。Scrapy通常安装在`Scripts`路径下,`pip`也安装在此目录。 ...
1. 安装Scrapy:通过命令pip install scrapy安装Scrapy框架。 2. 创建Scrapy项目:通过命令scrapy startproject myspider(其中myspider是自定义项目名)创建Scrapy项目。 3. 创建Scrapy爬虫:在项目目录下执行...
pip3 install scrapy ``` 4. **安装依赖**:在给定的文件列表中,有一些Scrapy的依赖项,如`pyOpenSSL`和`Twisted`。虽然这里提供了不同版本的安装包,但通常这些依赖会由pip自动处理。如果遇到问题,可以手动...
1. **安装Scrapy**:确保你已经安装了Python,并使用pip安装Scrapy库:`pip install scrapy` 2. **初始化项目**:在命令行中,使用`scrapy startproject lagou_crawler`命令创建一个新的Scrapy项目。然后进入项目...
pip install scrapy 等待安装完成后,您可以通过以下命令验证Scrapy是否安装成功: scrapy version 如果安装成功,您将看到Scrapy的版本号。 二、Linux下的安装 在Linux下安装Scrapy需要使用pip工具,首先,...
在Python环境中,可以使用`pip install scrapy`命令来安装Scrapy。Scrapy是基于Twisted异步网络库构建的,因此在某些系统上可能还需要安装其他依赖,如`pywin32`(Windows)或`pyopenssl`。 接下来,我们创建一个新...
pip install scrapy==1.3.3 ``` 参考链接中的教程(http://blog.csdn.net/u011781521/article/details/70177275)将提供更详细的安装步骤和可能遇到的问题解决方案。 综上所述,Python 2.7.13和Scrapy 1.3.3组合为...
pip install scrapy ``` 由于Scrapy可能不直接支持Python 2.6,你可能会遇到兼容性问题。如果出现错误,尝试查找与Python 2.6兼容的Scrapy版本或者使用源码安装。源码安装步骤如下: - 下载Scrapy源码包(确保与...