python爬虫有多强大

python的作用和强大是很多人想不到的， 大数据时代下现在的爬虫可以做的事情非常多，比如数据采集、信息挖掘、电影评分等等，只要你技术超群，你想怎么爬都可以，当然要合法。稍微了解下这个行业就会发现很多人都在学python。我觉得有两个个很大的因素，一是现在互联网对于信息数据的需求越来越多，第二python它是一种简单功能强大的编程语言，大部分爬虫学习都是用它。接下来我们简单的了解下“python的爬虫有多强大? 如何实现基本python爬虫”。
对于新手来说，有的觉得学习爬虫很吃力，复杂、技术门槛很高，越学头越冷，对于有些人来说又很简单。不管是简单还是难对于爬虫来说实践才是最重要的，再雄厚的理论知识也要在实践中没有问题才行。比如我们简单的爬取一下百度，虽然访问过程简单，但是这里需要我们掌握的知识就比较多，分析网站的反爬机制，并做好应对措施。像cookie，随机ua，代理IP这些基本的我们需要掌握。比如在访问网站的过程中加上代理IP，简单的示例如下：
#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text
其实只要你掌握正确的方法，在短时间内还是能做到爬取主流网站的数据，建议你从一开始就要有一个具体的目标，在目标的驱使下你的学习才会变得有动力。