百万级的数据如何采集

大数据时代，爬虫无处不在，比如电子商务行业，在大量的数据中可以挖掘有价值的资料。目标网站有大有小，小网站好采集，但大平台就不容易了，除了反爬机制厉害之外，技术难度也增加了。如果需要采集上百万的数据，这样的难度会有多大呢？我们今天就一起探讨下。
首先我们需要一个目标网站，然后进行网页分析，比如像知乎，然后我们需要研究下目标网站的反爬策机制然后制定对应的爬虫策略。访问这么大量的数据，我就必须要使用爬虫神器了scrapy，一开始爬起来好像一切顺利，于是我们开始运行爬虫爬取，大概爬取2w个数据左右,IP就会被封掉,大量的429 错误代码会出现.很明显有反爬的策略.这个时候我们的本机IP已经封掉了，这个时候想要继续爬取，有两个办法：
第一种办法：用代理IP,构建一个随机的代理池网上免费的代理IP池很多,但是需要百万级的数据量免费肯定是行不通的，，所以最后的办法就是访问一个付费的稳定的代理.比如亿牛云，简单的爬虫部分代码示例
#! -*- encoding:utf-8 -*-
        import base64           
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):               
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"

                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)

                # 添加验证头
                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                   

                # 设置IP切换头(根据需求)
                tunnel = random.randint(1,10000)
                request.headers['Proxy-Tunnel'] = str(tunnel)
上文详细的介绍了百万级数据怎么爬取，其实百万数据的爬取其上没有我们想象的那么难，只要熟练使用框架，控制爬取的速度，再加上稳定的代理池和高性能分段爬取还是可以的!