我想大家平时和朋友或家人聊天的时候都喜欢使用表情包吧,各种表情包不仅搞笑还能活跃大家聊天的氛围。表情包的更新速度也是很快的,收藏的表情包随时都面临过时的危险。过时的表情包肯定使用起来没有那么欢乐了呀。那我们怎么才能及时的更新自己的聊天表情包呢?如果不好意思总像别人要表情包,那我们可以自己利用爬虫技术在网站上去爬取啊。
今天我们就来一份欢乐的爬虫技术分享。首先我们今天爬取的网站是斗图吧,有一说一表情包是真的多,看这惊人的页数。
做个简单的网页分析,页数虽然多,但是没有什么爬取难度呀,所以对于反爬机制我们就简单的加个代理IP就可以了,关于代理的选择,网上代理千千万,最值得信任的推荐亿牛云代理https://www.16yun.cn/,谁用都说质量好,服务好。接下来就是简单的爬取网页的实现过程,重点是加上了代理一起的。
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
到现在为止,已经可以拿到图片的链接和名字,那么就可以开始下载了,因为文件实在有点多,所以最好采用多线程的方式下载。最后我们就可以如愿的得到超级多的表情包了,妥妥的表情包大户了,斗图的时候都是毫无压力的。
分享到:
相关推荐
文档中主要涵盖了Eigenfaces(特征脸)和Fisherfaces(费舍尔脸)这两种方法,并对这些方法的算法进行了详细描述,同时提供了使用Python实现这些技术的代码。 首先,让我们来看一下Eigenfaces方法。Eigenfaces技术...
例如,如果要给小猪佩奇画上不同表情,就可以通过改变眼睛或嘴巴的形状来实现。 最后,整个过程不仅锻炼了编程思维,还能激发学习者的创造力,因为可以自由调整参数,尝试绘制不同风格的佩奇。同时,这也是一种有趣...
Python的库如Blender的API可以用于实现这样的功能,通过编写脚本,用户可以自由调整这些参数,实现高度灵活的动画控制。 在"champ_master.zip"中,可能包含了一系列的代码示例、教程文档或者Blender项目文件,这些...
标题和描述中提到的"Chinese and English multimodal conversational language model"是指一种先进的自然语言处理技术,它结合了多模态...通过Python实现,开发者可以便捷地利用和扩展这一模型,以满足各种实际需求。
3. **Goosemod**: Goosemod是Discord的第三方模组管理器,用户可以通过它安装各种模块来增强Discord的功能,例如添加表情包、改变主题或者实现自动回复等。 4. **模块(Mods)**: 在Goosemod中,模块是扩展Discord...
这些库提供了对图像像素级操作的能力,可以实现添加文字、绘制形状、调整色彩等众多功能,从而让用户在生成个性化表情包时拥有极大的自由度。 除此之外,"SpicyMemer2"可能还集成了像NumPy这样的科学计算库,用于...
综合以上信息,我们可以推测这个源码项目是一个简单的图像处理应用,用户可以通过上传自己的头像或表情包,然后应用预设的帽子样式,通过调整大小等功能来个性化定制。为了使用和改进这个源码,用户需要具备一定的...
《face_recognition_models:Python人脸识别库的模型解析...通过理解和掌握这些模型的工作原理及使用方法,开发者可以在各种应用场景中实现精确、快速的人脸识别功能,为人工智能领域的应用拓展提供了强大的工具支持。
标题中的“类似QQ聊天窗体中间的可拖动工具条”指的是在软件界面设计中,模仿QQ聊天窗口中那个可以自由拖动的工具栏。这种工具条通常位于聊天窗体的顶部或侧边,允许用户方便地访问各种功能,如表情、文件发送、设置...
Emote-Wizard是一款基于Python开发的Discord机器人应用,它主要的功能是允许用户在Discord聊天平台上自由地在任何频道中使用自定义的表情符号。这个工具极大地扩展了Discord的表情库,让用户能够个性化他们的交流...
本文将深入探讨如何使用Python进行3自由度(3DoF)的人脸角度估计,即对头部的俯仰(Pitch)、翻滚(Roll)和偏航(Yaw)角度进行计算。 一、3DoF人脸姿态估计概述 3自由度人脸姿态估计是指确定人脸在三维空间中的...
6. **扩展功能**:例如群组管理、表情包、文件分享、实时位置等,这些功能可以根据开源项目的基础进行添加或修改。 7. **API接口**:为了与其他系统集成,聊天系统通常会提供API接口,比如RESTful API,允许其他...
总的来说,“lyb.rar_留言板”是一个集成了基础功能和简洁设计的交互系统实例,通过学习其源码和实现方式,开发者可以深入了解留言板系统的设计与开发,为今后构建类似的交互应用提供参考。在实际项目中,我们可以...
4. **插件系统**:为了扩展QQ的功能,开发者可能创建了一系列插件,这些插件可以添加额外的工具或服务,比如表情包管理器、快捷键设置、消息过滤器等。通过安装这些插件,用户不仅可以改变界面,还能增强QQ的实用性...
**基于UDP的跨网络通信...通过以上技术,这个基于UDP的聊天程序实现了类似QQ的功能,允许用户在广域网和局域网环境中自由地交流。开发者在实现这类程序时,不仅要关注网络通信的细节,还要注重软件的易用性和安全性。
信息交换器意味着它具备实时通信的能力,可能是通过WebSocket或其他实时通信技术实现。用户可以发送文本消息,可能还支持表情、图片等多媒体内容的分享。匿名性是这个应用的关键特性,这意味着用户的隐私得到了保护...
《MediaPipeUnityPlugin-all:构建综合AI应用的全方位指南》 MediaPipeUnityPlugin-all是一个针对Unity 2021...通过理解和利用项目中的各种配置文件,开发者可以更好地管理和优化自己的项目,实现高效、高质量的开发。
开发者可以自由地研究其内部实现,学习并在此基础上进行二次开发,这对于学习和研究AAM和ASM算法的开发者来说是一个宝贵的资源。 **压缩包子文件的文件名称列表:** 虽然没有具体的子文件列表,但通常一个开源项目...
在实现这些效果时,开发者通常会用到图像处理库,如OpenCV、PIL(Python Imaging Library)或JavaScript的sharp、canvas库等。这些库提供了丰富的API,可以方便地对图像进行操作和渲染。同时,为了让用户有良好的...
2. **情感分析**:通过分析面部表情变化来判断用户情绪状态,用于改善用户体验或产品设计。 3. **辅助驾驶**:监测驾驶员的状态(如疲劳驾驶、分心等),提高行车安全性。 4. **人机交互**:让机器更好地理解人类的...