`
laical
  • 浏览: 2647 次
  • 性别: Icon_minigender_1
  • 来自: 成都
最近访客 更多访客>>
社区版块
存档分类
最新评论

通过爬虫获取全国火锅店数量

阅读更多
在我们身边经常流行这么一句话,没有什么是一顿火锅解决不了的事情,如果有,那就两顿。那么今天就教大家如何获取全国不同城市火锅店数量情况,以更加直观的方式去了解不同城市的火锅店分布情况。一起来关注下你所在的城市火锅店数量多不多呀。
本文数据的数据来源我们是通过百度地图,通过python技术知识去获取数据并进行分析。
数据来源:https://map.baidu.com/
爬虫代理来源:https://www.16yun.cn/
在对网页分析好之后,接下来可以借助Python技术进行获取数据,代理示例如下:


#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://map.baidu.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://map.baidu.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "16MVUEFE"
    proxyPass = "102663"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text
从火锅数量来看,除了第二名成都,其余城市火锅店数量与第一名的重庆差距较大。以上的数据分享不够深入,更多的大家可以一起讨论学习。最后我表示生活在大成都的我一个月起码是要吃2次火锅的,你们呢?
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics