1、安装home brew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
2、安装pip
不要用这个命令安装
sudo python get-pip.py
安装会报错
解决方法:
easy_install pip
3、安装Scrapy
sudo pip install Scrapy
但是会报错
Downloading attrs-16.0.0-py2.py3-none-any.whl
Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)
Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)
Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy
Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main
status = self.run(options, args)
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run
prefix=options.prefix_path,
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install
requirement.uninstall(auto_confirm=True)
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall
paths_to_remove.remove(auto_confirm)
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove
renames(path, new_path)
File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames
shutil.move(old, new)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move
copy2(src, real_dst)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2
copystat(src, dst)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat
os.chflags(dst, st.st_flags)
OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'
报错的原因是有的包里已经装了依赖库six 1.4.1
4.解决报错的方法:sudo pip install Scrapy --ignore-installed six
5.然后命令行输入:scrapy,还是不行,会报错:
ImportError: cannot import name xmlrpc_client
解决方法见
http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client
但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:
a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式
b、点击Utilties->Terminal
c、在Terminal中输入:csrutil disable ,回车
d、重启mac
sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six
为了下次装环境,特意记录了下来。
安装完后,重新开启sip,只是输入的命令位:csrutil enable
相关推荐
在本篇教程中,我们将探讨如何在mac操作系统上安装Scrapy爬虫框架,并创建Scrapy项目。在正式开始之前,需要强调的是,mac系统预装了Python2.7,但是为了实现Python的新特性和改进的兼容性,通常我们需要安装新版本...
在Mac上安装Scrapy框架时,用户可能会遇到各种问题,特别是在使用Python的环境中。这个问题的描述显示了在尝试安装Scrapy时遇到了一个错误,错误涉及到了`six`这个依赖库的卸载过程。错误信息表明,尝试卸载已安装的...
本文将详细讲解Scrapy的安装过程,并介绍一些必备的工具,以帮助您在Python 3.5.3 64位环境下顺利进行开发。 **一、Scrapy的安装** 首先,确保您已经安装了Python 3.5.3 64位版本。如果没有,可以访问Python官方...
在Mac OS下安装Scrapy需要使用pip工具,首先,需要安装Python,当然,很多Mac OS系统已经预安装了Python。如果您还没有安装Python,可以使用Homebrew来安装。例如,可以使用以下命令: brew install python 安装...
打开命令行(Windows用户)或终端(Mac/Linux用户),然后输入以下命令来安装Scrapy: ```bash pip install scrapy ``` 这将会自动下载并安装Scrapy以及其依赖项,如Twisted(异步网络库)、lxml(XML解析库)和css...
本教程将详细介绍如何在Python环境中安装Scrapy。 首先,确保你已经安装了Python。Python是Scrapy的基础,通常推荐使用Python 3.x版本。你可以通过命令行输入`python --version`或`python3 --version`来检查Python...
在Mac系统中,使用Python 3环境安装Scrapy框架的过程可能会遇到一些挑战,但通过遵循以下详细步骤,您可以顺利地完成安装。首先,确保您已安装了Python 3。在Mac上,Python 3通常已经预装,但为了确保安装的是最新...
您可能感兴趣的文章:mysql 5.7.17 zip安装配置教程 mysql启动失败的解决方法mysql8.0.14.zip安装时自动创建data文件夹失败服务无法启动Python安装pycurl失败的解决方法解决Mac安装scrapy失败的问题解决n
本压缩包“Scrapy安装所需要的软件.rar”应该包含了帮助你完成Scrapy安装所需的所有组件。 首先,我们从基础开始,Python是Scrapy的基础,因此你需要安装Python。Python通常提供适用于Windows、Mac OS X和Linux操作...
在本指南中,我们将深入探讨Scrapy的安装过程以及如何使用这个框架。 首先,让我们来了解一下Scrapy的基础知识。Scrapy是用Python编写的,因此在开始安装前,你需要确保你的系统已经安装了Python。你可以通过在...
众所周知,Mac自带python2,但无奈我们想使用新版本,因此我们需要安装python3 ...以上这篇mac下给python3安装requests库和scrapy库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望
前提:安装scrapy,配置好环境。 主题:交互式爬虫shell命令实践。 C:\Users\32310>scrapy shell https://www.taobao.com/tbhome/page/special-markets 2020-02-19 16:01:34 [scrapy.utils.log] INFO: Scrapy 1.7.4...
一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取...二、Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>Python2.7<2>lxml<3>OpenSSL,我们使用Python的包管理工具pip或者ea
3.(windows 略)我这边是mac,安装brew,用brew 安装scrapy 2.整个流程 1. 创建数据库和数据库表,准备保存 2.写入爬虫目标URL,进行网络请求 3.对爬返回数据进行处理,得到具体数据
Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.3", # 添加更多... ] ``` 2. 编写Middleware(中间件):Scrapy中间件是处理请求和响应的自定义逻辑。我们需要...