python爬取《感动中国》观后感文章

感动你我，感动中国。茫茫人海，总有人会给世界带来长叹、带来愤慨，也总有人让世界温暖着、美好着。感动的力量，让我们面对茫茫人海仍然相信，仍然热爱，对自己，对生活，对未来。2022年感动中国年度人物颁奖典礼落下了帷幕，《感动中国》的意义就是慢慢的让我们知道，感动是我们前行的强大力量。感动中国已经举行了很多届了，这中间有太多的人物值得我们去学习，去尊重，去崇拜。《感动中国》每次的进行都是受到很多的人关注，很多人在了解了这些伟大事迹后都会在网络上发表一些自己的看法，大多都是发表一些积极的向上的言论，让更多的人关注这样的事迹。今天我们就通过python大数据来了解下关于《感动中国》的各种文章，这里我们主要通过百度搜索关键词来获取数据。数据的获取不是特别复杂，像百度这样的网站反爬也不是特别严厉，但是数据量大了也会触发封ip这样的机制，所以我们在访问的过程中加上代理。以下是代理在爬虫程序中的简单实现部分，示例如下： #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://www.baidu.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://www.baidu.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text获取到的数据需要进行整理后才能给大家看，简单了看下，很多的文章都写的很真诚，正能量，从中也看到了榜样带大家的力量。如果有兴趣的朋友可以去观看下《感动中国》也写写感想。做爬虫的小伙伴也可以借由这个主题试驾下爬虫能力，获取些好的文章分享给大家。​若有收获，就点个赞吧