收集淘宝店铺资料的小程序

Ruby学习持续进行中

看到业务人员不停的在Ctrl+c与Ctrl+v，还是把固定格式的淘宝搜索结果加入到excel表格中。

还好每人分了几个类目，不过也够浪费体力的了。

我虽然很懒，但也忍不住了，直接叫停，写了点 "日本码" 解决此懒。

ps: 每次打 'rb' ，输入法总出现 '日本' ，不知道是不是ruby故意的，正好拼音 r b。

 

#parseHTML.rb

#endode:utf-8
# 2010.6.13 @ spring by Apanda
# ver= 1.0 r
=begin

程序用途：

	解析淘宝搜索店铺的结果数据并储存为 csv文件
	一次可以截取多个搜索结果地址
	
本工具使用方法：

	1.建立一个list.txt的文件，里面存放淘宝搜索结果页面的地址 如下是商城食品类目搜索结果页：
		http://shopsearch.taobao.com/browse/shop_search.htm?cat=50002766&title=title&nick=nick&filterShopType1=1&s=40&stat=4
		http://shopsearch.taobao.com/browse/shop_search.htm?cat=50002766&title=title&nick=nick&filterShopType1=1&s=40&stat=4
	  将地址每行一个的方式保存好。
	  
	2.将该程序文件parseHTML.rb 和list.txt保存在同一个文件夹中，运行 ruby parseHTML.rb ，在同一文件夹下出现 taobao.csv文件
	
	技巧：按类目分别建立不同的文件夹，这样后续可以从新获取最新的搜索结果。
		taobao
			| - 食品
			| 	  | - list.txt
			|	  | - parseHTML.rb
			|
			| - 服装
			| 	  | - list.txt
			|	  | - parseHTML.rb
			....

=end








require 'rubygems'
require 'nokogiri'
require 'open-uri'
require 'iconv'
require 'fastercsv'

def write(data,name)
	FasterCSV.open(name, "w") do |csv|
		data.each{|line|
			csv << line
			#["row", "of", "CSV", "data"]
		}
	end
end	

def conv(str)
	Iconv.iconv("GBK//IGNORE", "UTF-8//IGNORE", str.to_s)
end

def parse(doc)
	shops= Array.new
	doc.css('table#item-matched tbody tr').each do |tr|
				#店铺名称
		shopName=conv tr.css('td.thumb div a')[0]['title']
		#店铺地址
		shopUrl=tr.css('td.thumb div a')[0]['href'].strip
		#主营产品
		desc=conv tr.css('td.thumb dl dd p')[0].css('a').text.collect{|line| line.strip}

		#消费者服务 baozhang
		service=[]
		tr.css('td.thumb dl dd p ins').each do |sevr|
			service << conv(sevr['title'])
		end
		baozhang=service.join(',')
		#宝贝数量
		total = tr.css('p.amount span')[0].content.strip
		#旺旺名称
		wangwang=conv tr.css('p.nick a')[0].content.strip
		#是否商城
		mall=tr.css('ins.service-mall').length > 0 ? "商城" : "个人"
		#地区
		diqu =conv tr.css('td')[3].css('p')[0].content.strip 

		#店铺级别
		level=tr.css('td')[4].css('p')[0]
		if level.css('a').length > 0
				level = conv level.css('a')[0]['title']
			else
				level = conv level.content.strip
		end
		#puts "店铺:#{shopName}\n地区:#{diqu}\n店铺等级:#{mall}/#{level}\n主营:#{desc}\n地址:#{shopUrl}\n宝贝数量:#{total}\n消费者服务:#{baozhang}\n旺旺名称:#{wangwang}\n"
		#puts "----------------------------------------"
		
		shops << [shopName,diqu,wangwang,mall,level,desc,shopUrl,total,baozhang]
	end
	
	shops
	
end

db = Array.new

File.readlines("list.txt").each do |row|
	url=conv(row).to_s
	puts url
	doc = Nokogiri::HTML(open(url))
	db.concat(parse(doc))
end
write(db,"taobao.csv")
puts db.length