`

python获取淘宝ip库数据并写入文件

阅读更多

利用python抓取淘宝提供的ip库信息并保存.

淘宝ip库网站:http://ip.taobao.com

淘宝提供的API地址为:http://ip.taobao.com/service/getIpInfo.php?ip=

这个接口提供的QPS=10

以下为用python简单实现(剔除了私有ip地址段,在判断的时候后也只取了IP段的前三节,第四节统一设置为0,因为只要根据前三段就可以判断ip的归属地信息了)

# -*- decoidng:utf-8 -*-
from urllib import request
import time

def writefile(L=[]):
	with open('ip.txt','a') as f:
		for s in L:
			f.write(s)
			f.write('\n')
		f.close()


l=[]
a = 1
while a < 256:
	if a == 10:
		a=a+1
		continue
	b=0
	while b < 256:
		if a == 172 and b>15 and b<32:
			b=b+1
			continue
		if a == 192 and b==168:
			b = b + 1
			continue
		c=0
		while c < 256:
			ip = str(a) + "."+ str(b) + "." + str(c) + "." + "0"
			url='http://ip.taobao.com/service/getIpInfo.php?ip='+ip
			with request.urlopen(url)as f:
				data = f.read()
				l.append(str(data.decode('utf-8')))
				if len(l) > 100:
					writefile(l)
					l=[]
			time.sleep(0.2)
			c=c+1;
		b=b+1
	a=a+1
if len(l)>0:
	writefile(l)

 

 

 

14
6
分享到:
评论

相关推荐

    抓取淘宝IP库程序

    总的来说,"抓取淘宝IP库程序"是一个结合了网络请求、数据解析、数据处理和文件操作的Python应用程序,旨在有效且合规地从淘宝API中提取IP信息。对于有相关需求的开发者或者研究人员来说,这是一个有价值的工具,但...

    Python爬虫案例1:爬取淘宝网页数据

    Python的pandas库非常方便地实现了这一功能,可以将抓取到的数据结构化并写入Excel文件。在本案例中,我们看到有芒果、草莓、鸭舌帽等商品的数据excel文件,这表明爬虫已经成功运行并保存了结果。 在分析和处理这些...

    python 淘宝爬虫示例源码(抓取天猫数据).zip

    例如,`csv`库可用于写入CSV文件,`pandas`库则提供更高级的数据操作和分析功能。 6. **异常处理**:在爬虫编写过程中,可能会遇到网络错误、解析错误等各种异常,需要使用`try-except`结构进行捕获和处理,保证...

    Python-爬取淘宝MM用户相册及图片数据存储到MySQL数据库中

    在本项目中,我们将探讨如何使用Python进行Web爬虫,以获取淘宝MM用户的相册及图片数据,并将这些数据存储到MySQL数据库中。这是一项综合性的任务,涉及到多个技术领域,包括网络请求、HTML解析、数据处理以及数据库...

    天猫商品评价_爬虫_python_TmallUS_淘宝_淘宝C_

    标题中的“天猫商品评价_爬虫_python_TmallUS_淘宝_淘宝C_”表明这是一个关于使用Python爬虫技术从天猫(TmallUS)获取商品评价数据的项目。在这个项目中,开发者可能关注了如何在淘宝(Taobao)和淘宝C(可能是针对...

    python实现获取Ip归属地等信息

    3. 主函数:遍历 IP 地址列表,调用 `get_geolocation()` 函数获取地理位置信息,并将其写入 CSV 文件。 #### 五、额外示例代码 下面是一段网友提供的示例代码,用于查找单个或多个 IP 地址的归属地信息。 ```...

    Python3实现的爬虫爬取数据并存入mysql数据库操作示例

    在本示例中,我们将深入探讨如何使用Python3编写一个简单的网络爬虫,该爬虫能够抓取特定网页上的数据,并将这些数据存储到MySQL数据库中。首先,我们需要了解几个关键的Python库,包括`requests`、`re`(正则表达式...

    淘宝天猫商品详情爬取

    最后,为了保存爬取的数据,可以将它们写入文件,如CSV或JSON格式,便于后续分析。例如,使用pandas库: ```python import pandas as pd data = {'title': title, 'price': price, ...} df = pd.DataFrame([data])...

    采集阿里巴巴 淘宝信息模块

    5. **数据存储**:采集到的数据通常需要存储起来,可能使用MySQL、MongoDB等数据库,或直接写入CSV、JSON等文件。 6. **异常处理**:考虑到网络不稳定和平台规则变化,采集过程中必须有良好的错误处理机制,保证...

Global site tag (gtag.js) - Google Analytics