快速掌握python技术要点

对于小白来说，学习爬虫可能是一件非常复杂、技术门槛很高的事情。有的同学认为学爬虫必须精通 Python，然后就系统学习 Python 的每个知识点，学了一段时间之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTM、LCSS等开始学习。小编觉得学习爬虫虽然方式很多，难度各异，只要掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现。建议学习爬虫的时候从一开始就要有一个具体的目标，你要爬取哪个网站的哪些数据，达到什么量级。
那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。通过经验这里给大家整理了几条快速入门爬虫的学习路径。
1.学习Python包并实现基本的爬虫过程
2. 分布式爬虫，实现大规模并发采集
3. 学习scrapy，搭建工程化爬虫
4. 学习数据库知识，应对大规模数据存储与提取
5. 掌握各种技巧，应对特殊网站的反爬措施
比如这里的第五条就很考验爬虫技术，这里里面涉及了太多的反爬措施，简单的如随机ua的设置，cookie的获取，代理IP的使用，难得如各种形式的验证码。代理的使用虽然简单但是也是爬虫获取成功的关键一环，因为很多网站对IP的要求很严，网上虽有很多的代理提供，但是参差不齐，想要找到靠谱好用的还是很费时间和精力，这里推荐大家了解下亿牛云代理。代理质量，技术支持，售后服务都很可。特别推荐爬虫代理，没有用过的这里简单示例参考下：
Plain Text
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text