fanying
- 浏览: 6190 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
爬虫系列之自动化运维（一）服务器节点详细设计
十点数据 10小时前 ⋅ 16 阅读 ⋅ 0 积分
相关阅读：
网络爬虫的实现原理与技术
Python，开发爬虫的不二选择
相关阅读：
一套价值十万的微信公众号采集解决方案
史上最快、最笨的公众号文章阅读数、在看数采集，哈哈
Python爬虫实践：如何快速、高效的爬取微信公众号阅读在看数
微信采集之公众号账号信息
最近公司微信采集有了新的突破，可以基于微信PC端进行公众号的监测，实时监测公众号发文。其重要原来就是监测操作系统内存，进行底层破解。
字节跳动面试锦集(一)：Android Framework高频面试题总结
字节跳动面试锦集(二)：项目HR高频面试总结
数据采集采集架构中各模块详细分析
网络爬虫的实现原理与技术
爬虫工程师，如何高效的支持数据分析人员的工作？
基于大数据平台的互联网数据采集平台基本架构
先前在《爬虫系列之数据质量监控（二）：监控系统设计 》一文中，对采集中数据解析部分可能出现的各种异常，进行了大概的总结。比如：标题或内容中包含乱码、css样式、JavaScript代码等。
由于出现的异常可能千奇百怪，我们不可能提前想到所有现象。此时，就需要根据目前已经发现的问题，总结出一套能够灵活应对不同情况的规则库。
其目的就是在数据持久化接口处，对接收的所有数据，依据信源系统中配置的规则进行校验，以判断采集到的数据的准确性，便与改进采集器或脚本，优化数据质量，提高产品的用户体验。
一. 规则库必须是抽象的规则，而不是具体表象。
通过对《爬虫系列之数据质量监控（二）：监控系 ...
一.种子用户。
种子用户很重要。没有种子用户就没有后期的课程爆发式增长。 什么是种子用户，我个人觉得是对你的课程方向极度好奇，可以允许不大的瑕疵。 那么种子用户从哪里来。
个人经验分享下：
1.各大自媒体平台。各大自媒体平台会个性化推荐帮我们挖掘出一些对我们课程感兴趣的用 户，并且对新人也有一定的扶持政策，最重要的是坚持。形式：图文，视频，抖音（可以设 计成 PPT 加配音形式）。
2.个人朋友圈。通过发动自己周边朋友分享，招募第一批用户。 3.付费推广。针对有经济能力的讲师，可以投放一些 kol 广告，迅速扩大影响力。
分享人：小牛妈妈
亲爱的来自千聊直播间的、来自天南海北的知识网红大咖、同学们，大家好。我是小牛妈妈， 居住在深圳的东北人。日记星球创始人，北京师范大学英语教育硕士，擅长个人 ip 打造， 高质量社群打造，独创 21 天自媒写作训练营，108 天朋友圈专家养成特训营，52 周记训练 营。
今天的正式分享之前首先非常感谢千聊直播间能够让我们相识在此。感恩遇见大家，感谢千 聊让我们相逢，我始终相信一句话，在你生命中出现的每个人都是有原因的。
今天我给大家分享高质量社群必备十要素，是我过去十年的经验的总结，希望能够给我们支 持行业从业者一点启发。
我们知道社群裂变很重要，但是裂变以后如何维 ...
相关阅读：
X-admin2.2中switch开关的监听，以及属性值获取和更改状态等操作
Spring Boot集成X-admin2.2时，Layui字体图标无法正常显示或乱码问题解决方法
X-admin2.2表单提交方式及注意事项
Spring Boot 踩坑系列之Error resolving template
Maven项目中引入net.sf.json.JSONObject依赖jar包
最近在基于Spring Boot+
（二）KAFKA统一数据推送接口
1)非空校验
处理逻辑：除标题为空数据直接存入异常MySQL库中外，其他类型的数据直接流到数据质量校验步骤进行分析；
2)数据质量校验
主要是根据每个字段设置的校验规则，对其进行相应的校验处理。
3)二次排重处理：
由于Bloom Filte中的元素只可以添加，不可以被删除。又由于数据量较大(每天5000W左右)，长时间会耗费很多内存资源，投入较大。
同时，排重库中并不需要保留所有的历史记录，比如只保留最近半年或一年的记录，如何自动清除历史记录，又成了新的问题。
所以，最后决定使用Redis的XX类型数据，利用Redis自身特性，对主键key设 ...
二、数据监控流程图
三、流程详解
（一）信源系统
信源系统主要是用来管理各种规则，同时接收异常信息、并分析异常情况。
根据分析结果，把相应的信息推送给信源管理、采集人员等相关人员，以便优化采集策略及采集器，从而达到采集闭环(采集--反馈--优化采集--采集)。
1)相关规则阐述：
设计数据校验规则的目：
在做基于SpringBoot+Frammark+X-admin2.2的开发时，涉及到的表单提交处理逻辑，记录一下以备不时之需。
前端代码如下所示：
// 表单提交
form.on('submit(first1)', function (data) {
背景
最近在整合一个项目的后台管理系统中的权限部分功能时，用户有个启用和禁用的切换，先前是使用的按钮作为一个操作进行。
但是比较麻烦，最后决定使用layui的switch切换。通过参考文档及网友的经验，在此备记录，以备不时之需。
HTML代码部分：
<input type="checkbox" checked="" id="
最近在Spring Boot集成X-admin2.2时，好多按钮的图标都不显示了，只是显示个小方块乱码。其他的一些checkbox之类的也是不能正常显示。如下所示：
解决方法主要有以下几步：
第一步：确定已经引入fonts或lib/layui/font下的文件到项目中，如下如：
第二步：确定引入的文件没有问题。
具体路径如下图所示：