小taomi_77
- 浏览: 43795 次
- 性别:
- 来自: 成都
-
最新评论
文章列表
对于很多年轻人来说，知乎也是一个必不可少的社交软件，知乎上面有很多的话题大家都愿意参与讨论，也有很多的神评论。有些问题下面的回答数竟有上万条，实在太多了忍不住了，好想知道大家都评论了些什么。所以这种情况下就可以发挥下我们的爬虫技术了。
首先需要明确需求，爬什么数据？这里我们可以直接爬取知乎首页上推荐的评论比较多的问题，包括该问题下评论的用户的归属地、用户的昵称、用户的性别、用户回答的赞同数、用户回答的评论数。爬虫我们之前写过很多遍了，思路都差不多，而且知乎网站对爬虫还是很友好的反爬机制并不是很严。这里我只是简单的用到代理IP和随机ua，那些上万评论数的问题很快就爬取完了。全部源码献上，关于代码的 ...
随着新冠病毒变异株的快速传播，老年人群等高风险人群持续面临感染风险，亟须进一步加强预防措施。当前，首剂新冠疫苗加强针在我国老年人群中的覆盖面还待拓展，重点面向免疫脆弱人群的第二剂次加强针的接种计划已在全国多地正式启动。
很多人已经“阳过康复”，这些人群中，有人因为感染经历“不堪回首”，有人希望“叠加免疫效果”，加上之前关于新冠疫苗的负面新闻，所以很多人都在咨询“第四针”是否有打的必要。各种社交媒体上有很多专家分享关于加强疫苗的知识，但是大家还是处于比较犹豫状态。今天我们就 以“加强针”为关键词获取所有相关视频数据。通过爬虫程序+爬虫代理进行大数据采集，其中爬虫脚本使用Python常用的re ...
上海迪士尼乐园将于11月25日起全面恢复运营，11月25日的营业时间为8:30～20:30。同时，玩具总动员酒店也将恢复运营，客房预订将于即日起重新开放，在线旅游平台携程数据显示，携程平台瞬时访问量暴涨5倍，上海迪士尼全面恢复运营的消息带动上海城市搜索热度上升30%。此前的11月17日，迪士尼小镇、星愿公园和上海迪士尼乐园酒店已恢复运营。截至发稿，来自携程的数据显示，第一阶段恢复至今，上海迪士尼相关搜索热度增长130%。
作为标志性景区，上海迪士尼乐园重新开放为旅游业再次带来积极信号，那么开放后的访问量暴涨和疫情之前对比是有所增加加上减少呢？这里我们可以通过python大数据来进行分析对比。可以 ...
今天，全球人口达到80亿，这是联合国《世界人口展望2022》给出的最新数据。相较于“80亿”这个对大部分人来说只是一个抽象概念的数据，联合国报告所透露的很多更为细节的变化，更值得关注，比如，全球人口增速在持续放缓。联合国有人口数据记录以来，20世纪60年代末，世界人口的增速达到了每年略高于2%的历史峰值。再比如，世界第一人口大国即将易主。印度预计最早将于2023年超过中国，成为全球第一人口大国。
如今又是以数据为主的时代，那作为爬虫工作者，这里我们就以全球人口数据为背景来获取下各个国家的人口数量，并进一步做一份数据分析，看下各个国家人口增长是怎么样的。数据来源于https://www.phb12 ...
11 月 6 日，第 31 届中国电视金鹰奖颁奖典礼如约而至。在国内最大的演播室集群 " 七彩盒子 "，全国优秀的电视人齐聚一堂，共享属于电视人的荣耀时刻。飞天奖的热度还未散去，金鹰奖乘势而来，这也让观众对金鹰奖颁奖晚会有了更多的期待。
从获奖演员，电视类型总的来看，今年的金鹰奖成功 " 脱水 "，不再一味追求流量和话题，入围的 36 部电视剧都经得起推敲，各大奖项的评选结果也让人信服。网友们看了颁奖典礼后也给出好评，感慨：金鹰奖终于正常了。因为金鹰奖本身是跟飞天奖和白玉兰奖并列的，含金量也是中国电视剧奖项中最高的三个奖项之一，但是因为设立了一些奖项大多都 ...
前有“雪糕刺客”让大众愤愤不平，现在又出现了移动充电宝“价格刺客”，经常关注热点新闻的朋友应该有看到关于移动充电宝价格贵的离谱的话题频频上热搜，很多的用户在网络上吐槽，共享充电宝租借费用高得离谱，而且用完了想还时门店关了还不了，有的明明还上了还一直在扣费。
又贵又难用，这是某位用户对共享充电宝的评价。“我记得共享充电宝刚出现时，花个五毛钱、一元钱就能充一两小时。现在‘起充价’就要三四元，有的充电速度还特别慢，租借时扫码跳出一大堆广告，“随处可见的共享充电宝，实在让人高攀不起”。
因为移动充电宝的出现，现在大家出门都不带充电宝了，需要的俄时候随时找在附近找一个就可以使用，那么我们今天就重点来分享下 ...
经常有前端的程序员被公司临时要求做数据收集，针对某项目进行分析评估。如何才能快速的实现数据采集目标，同时减少程序的研发和运维工作，现在给大家推荐一个基本爬虫策略+爬虫代理IP的方案，从搭建项目到实现数据采 ...
对于小白来说，学习爬虫可能是一件非常复杂、技术门槛很高的事情。有的同学认为学爬虫必须精通 Python，然后就系统学习 Python 的每个知识点，学了一段时间之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTM、LCSS等开始学习。小编觉得学习爬虫虽然方式很多，难度各异，只要掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现。建议学习爬虫的时候从一开始就要有一个具体的目标，你要爬取哪个网站的哪些数据，达到什么量级。
那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。通过经验这里给大家整理了几条快速入门爬虫的学习路径。
1.学习Python包并 ...
数据为主的互联网时代，谁掌握了有价值的数据就等于掌握了商机，爬虫行业的出现就显得尤为重要。爬虫就是为了获取数据而诞生。那些价值高的网站数据应对爬虫做的策略也不是一般的多，并且还很严。比如很多网站会限制访客的访问行为，花还有些网站是需要进行登陆才能获取数据。针对这种需要登陆的网站最有用的方法就是获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。
需要登陆的网站一般有2种方式进行登陆。
1 使用表单登陆
这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。
import requests
data = {'data1':'XXXXX ...
python的作用和强大是很多人想不到的， 大数据时代下现在的爬虫可以做的事情非常多，比如数据采集、信息挖掘、电影评分等等，只要你技术超群，你想怎么爬都可以，当然要合法。稍微了解下这个行业就会发现很多人都在学python。我觉得有两个个很大的因素，一是现在互联网对于信息数据的需求越来越多，第二python它是一种简单功能强大的编程语言，大部分爬虫学习都是用它。接下来我们简单的了解下“python的爬虫有多强大? 如何实现基本python爬虫”。
对于新手来说，有的觉得学习爬虫很吃力，复杂、技术门槛很高，越学头越冷，对于有些人来说又很简单。不管是简单还是难对于爬虫来说实践才是最重要的，再雄厚的理论 ...
我想大家平时和朋友或家人聊天的时候都喜欢使用表情包吧，各种表情包不仅搞笑还能活跃大家聊天的氛围。表情包的更新速度也是很快的，收藏的表情包随时都面临过时的危险。过时的表情包肯定使用起来没有那么欢乐了呀。那我们怎么才能及时的更新自己的聊天表情包呢？如果不好意思总像别人要表情包，那我们可以自己利用爬虫技术在网站上去爬取啊。
今天我们就来一份欢乐的爬虫技术分享。首先我们今天爬取的网站是斗图吧，有一说一表情包是真的多，看这惊人的页数。
做个简单的网页分析，页数虽然多，但是没有什么爬取难度呀，所以对于反爬机制我们就简单的加个代理IP就可以了，关于代理的选择，网上代理千千万，最值得信任的推荐亿牛云代理http ...
在爬虫工作过程中经常会遇到需要登录的问题，面对这样的问题就需要用到模拟登录的相关方法。python提供了强大的url库，想做到这个并不难。那么今天我们就以登录京东为例，做一个简单的例子。
在进行实践之前得明白cookie的作用，cookie是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据。因此我们需要用Cookielib模块来保持网站的cookie。要完整的获取一个需要登录网站的数据不只有cookie，还有代理IP的使用，一般的网站都设置有反爬机制，像京东这样的网站对IP的要求更高，在选择的代理的时候需要选择靠谱高效的，这里推荐亿牛云代理。使用过程简单方便，直接上代 ...
现在很多做爬虫的都开始转逆向，我想很多人会在网上购买书籍进行学习，刚好最近618要到了，听说《爬虫逆向进阶实战》开始预售啦！《爬虫逆向进阶实战》以爬虫逆向方向的相关技术和岗位要求进行撰写，结合作者多年工作经验，总结了爬虫的架构体系、主流框架、技术体系和未来发展。 另外书中内容对于大家所擅长的开发语言并没有要求，进阶为高阶爬虫工程师需要了解和掌握的技术内容十分广泛，不局限于编程语言，不拘泥于采集方法。
可能有些爬虫小伙伴对这本书不是很熟，那今天我们通过淘宝已经购买过这本书的客户的反馈，看下大家对这本书的评价是怎么样的。淘宝这样的电商网站反爬机制比较严，不管我们获取的数据量多还是少，在采集过程中一 ...
临近端午节，粽子销售进入高峰期。除蛋黄粽、鲜肉粽、豆沙粽等经典口味，今年的粽子届迎来鲍鱼等海鲜及松露等蘑菇的“大举入侵”。2022端午消费趋势数据显示，5月中旬至下旬，粽子销量环比增长超440%，咸粽占据主导优势，咸粽/甜粽的销售比例约为4:1。
现在真的是万物都“卷”，端午节不仅是粽子口味的战争，还是各个品牌之间的战争，毕竟送礼是我们的一大传统，那选择什么牌子的粽子呢？选择什么口味的粽子呢？选择什么价格区间呢？今天爬取了京东上面的 “粽子数据” 进行分析,看看有啥发现吧。本文就从数据爬取、数据清洗、数据可视化，这三个方面入手，教你简单完成一个小型的数据分析项目，让你对爬虫知识能够有一个综合的运 ...
对于爬虫初学者来说，弄清楚一个领域的知识体系往往比单纯学习某个技术要重要得多，因为技术总会跟随时代发生快速变化，而知识体系往往变化较小，今天我们以自学的角度来了解一下Python爬虫的知识体系吧。
一、python爬虫提取信息的基本步骤：1，获取数据2，解析数据3，提取数据4，保存数据。
二、python爬虫学习框架，爬虫有很多的框架可以选择，还有很多的库可以用，这里重点讲下requests库 ，requests库主要功能是模拟浏览器发送请求，获取网页数据。还有一个就是beautifulsoup库，beautifulsoup库主要功能是解析网页与信息提取。只要掌握爬虫这两个库的使用，那你你已经掌 ...