`
wx1569484809
  • 浏览: 63751 次
文章分类
社区版块
存档分类
最新评论

Mac 安装scrapy

 
阅读更多

1、安装home brew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2、安装pip

 不要用这个命令安装

sudo python get-pip.py

安装会报错

解决方法:

easy_install pip

3、安装Scrapy

sudo pip install Scrapy

但是会报错

Downloading attrs-16.0.0-py2.py3-none-any.whl

Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)

Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)

Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy

  Found existing installation: six 1.4.1

    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.

    Uninstalling six-1.4.1:

Exception:

Traceback (most recent call last):

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main

    status = self.run(options, args)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run

    prefix=options.prefix_path,

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install

    requirement.uninstall(auto_confirm=True)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall

    paths_to_remove.remove(auto_confirm)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove

    renames(path, new_path)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames

    shutil.move(old, new)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move

    copy2(src, real_dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2

    copystat(src, dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat

    os.chflags(dst, st.st_flags)

OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

报错的原因是有的包里已经装了依赖库six 1.4.1

4.解决报错的方法:sudo pip install Scrapy --ignore-installed six

5.然后命令行输入:scrapy,还是不行,会报错:

ImportError: cannot import name xmlrpc_client

解决方法见

http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client

但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:

a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式

b、点击Utilties->Terminal

c、在Terminal中输入:csrutil disable ,回车

d、重启mac

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

为了下次装环境,特意记录了下来。

 

安装完后,重新开启sip,只是输入的命令位:csrutil enable

 

 

 

 

 

转载于:https://my.oschina.net/u/229425/blog/729762

分享到:
评论

相关推荐

    mac安装scrapy并创建项目的实例讲解

    在本篇教程中,我们将探讨如何在mac操作系统上安装Scrapy爬虫框架,并创建Scrapy项目。在正式开始之前,需要强调的是,mac系统预装了Python2.7,但是为了实现Python的新特性和改进的兼容性,通常我们需要安装新版本...

    解决Mac安装scrapy失败的问题

    在Mac上安装Scrapy框架时,用户可能会遇到各种问题,特别是在使用Python的环境中。这个问题的描述显示了在尝试安装Scrapy时遇到了一个错误,错误涉及到了`six`这个依赖库的卸载过程。错误信息表明,尝试卸载已安装的...

    scrapy安装教程及工具包

    本文将详细讲解Scrapy的安装过程,并介绍一些必备的工具,以帮助您在Python 3.5.3 64位环境下顺利进行开发。 **一、Scrapy的安装** 首先,确保您已经安装了Python 3.5.3 64位版本。如果没有,可以访问Python官方...

    Scrapy框架安装.pdf

    在Mac OS下安装Scrapy需要使用pip工具,首先,需要安装Python,当然,很多Mac OS系统已经预安装了Python。如果您还没有安装Python,可以使用Homebrew来安装。例如,可以使用以下命令: brew install python 安装...

    Scrapy完整环境安装所需文件

    打开命令行(Windows用户)或终端(Mac/Linux用户),然后输入以下命令来安装Scrapy: ```bash pip install scrapy ``` 这将会自动下载并安装Scrapy以及其依赖项,如Twisted(异步网络库)、lxml(XML解析库)和css...

    python安装Scrapy图文教程

    本教程将详细介绍如何在Python环境中安装Scrapy。 首先,确保你已经安装了Python。Python是Scrapy的基础,通常推荐使用Python 3.x版本。你可以通过命令行输入`python --version`或`python3 --version`来检查Python...

    Mac中Python 3环境下安装scrapy的方法教程

    在Mac系统中,使用Python 3环境安装Scrapy框架的过程可能会遇到一些挑战,但通过遵循以下详细步骤,您可以顺利地完成安装。首先,确保您已安装了Python 3。在Mac上,Python 3通常已经预装,但为了确保安装的是最新...

    解决pycharm 安装numpy失败的问题

    您可能感兴趣的文章:mysql 5.7.17 zip安装配置教程 mysql启动失败的解决方法mysql8.0.14.zip安装时自动创建data文件夹失败服务无法启动Python安装pycurl失败的解决方法解决Mac安装scrapy失败的问题解决n

    Scrapy安装所需要的软件.rar

    本压缩包“Scrapy安装所需要的软件.rar”应该包含了帮助你完成Scrapy安装所需的所有组件。 首先,我们从基础开始,Python是Scrapy的基础,因此你需要安装Python。Python通常提供适用于Windows、Mac OS X和Linux操作...

    scrapy安装指南

    在本指南中,我们将深入探讨Scrapy的安装过程以及如何使用这个框架。 首先,让我们来了解一下Scrapy的基础知识。Scrapy是用Python编写的,因此在开始安装前,你需要确保你的系统已经安装了Python。你可以通过在...

    mac下给python3安装requests库和scrapy库的实例

    众所周知,Mac自带python2,但无奈我们想使用新版本,因此我们需要安装python3 ...以上这篇mac下给python3安装requests库和scrapy库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望

    scrapy shell 实践 | 交互式爬虫

    前提:安装scrapy,配置好环境。 主题:交互式爬虫shell命令实践。 C:\Users\32310>scrapy shell https://www.taobao.com/tbhome/page/special-markets 2020-02-19 16:01:34 [scrapy.utils.log] INFO: Scrapy 1.7.4...

    Python爬虫框架Scrapy安装使用步骤

    一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取...二、Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>Python2.7<2>lxml<3>OpenSSL,我们使用Python的包管理工具pip或者ea

    利用scrapy将爬到的数据保存到mysql(防止重复)

     3.(windows 略)我这边是mac,安装brew,用brew 安装scrapy 2.整个流程  1. 创建数据库和数据库表,准备保存  2.写入爬虫目标URL,进行网络请求  3.对爬返回数据进行处理,得到具体数据

    scrapy随机user-agent

    Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.3", # 添加更多... ] ``` 2. 编写Middleware(中间件):Scrapy中间件是处理请求和响应的自定义逻辑。我们需要...

Global site tag (gtag.js) - Google Analytics