python学习框架介绍

对于爬虫初学者来说，弄清楚一个领域的知识体系往往比单纯学习某个技术要重要得多，因为技术总会跟随时代发生快速变化，而知识体系往往变化较小，今天我们以自学的角度来了解一下Python爬虫的知识体系吧。
一、python爬虫提取信息的基本步骤：1，获取数据2，解析数据3，提取数据4，保存数据。
二、python爬虫学习框架，爬虫有很多的框架可以选择，还有很多的库可以用，这里重点讲下requests库 ，requests库主要功能是模拟浏览器发送请求，获取网页数据。还有一个就是beautifulsoup库，beautifulsoup库主要功能是解析网页与信息提取。只要掌握爬虫这两个库的使用，那你你已经掌握了至少50%的网页爬取方法。
三、异步加载数据的提取(Ajax异步)
有些网站是种是异步加载，有些是算法加密。
四、cookies与sessio
有些网站的数据是非公开的，比如淘宝，携程等，需要登录，这时候就需要使用python去模拟登录，当然也可以模拟发送评论信息。这些网站还有一个很重要的反爬机制那就是封IP，在访问过程中代理IP是必不可少的，并且是需要高质量的代理IP，像亿牛云提供的爬虫代理https://www.16yun.cn/。
这些步骤只是爬虫的一部分，但是只要要掌握了那就等于掌握了60的爬虫技能，在掌握其他的技能那么恭喜你，你已经掌握了大规模数据的爬取方法。