scrapy 抓取京东首页

python version 2.7

开发工具：eclipse+pydev

安装好Scrapy后需要将python安装目录下的Script配置到环境中

在cmd中进入workspace执行

scrapy startproject ptspider

生成了scrapy的配置文件

在spiders路径下新建文件命名为JDSpider.py

from scrapy.spider import BaseSpider
class JDSpider(BaseSpider):
name = "360buy.com"
allowed_domains = ["360buy.com"]
start_urls = ["http://www.360buy.com/?utm_source=media&utm_medium=cpc&utm_campaign=&utm_term=semmedia_1_15"]

def parse(self, response):
filename = response.url.split("/")[-2] + '.html'
print(response.body)
open(filename, 'wb').write(response.body)

在cmd中cd到ptspider路径下执行 scrapy crawl 360buy.com

抓到京东首页的文件www.360buy.com.html