eric_weitm
- 浏览: 242635 次
- 性别:
- 来自: 北京
-
最新评论
-
saiyaren：
你对hiphop的深入程度到了什么程度了？想和你进行探讨一下
facebook hiphop php vm 实现概述 -
eric_weitm：
lj3362569 写道可以再讲具体点么？还有现有的hipho ...
facebook hiphop php vm 实现概述 -
lj3362569：
可以再讲具体点么？还有现有的hiphop不支持哪些功能？
facebook hiphop php vm 实现概述
文章列表
1、dependency
scope: compile test provided runtime
exclusion:排除传递依赖
2、localRepository
repository id
server
distributionManagement
mirror
3、生命周期和plugin
三套生命周期 clean default site
pre-clean
1）pre-clean：执行清理前需要完成的工作
2）clean：清理上一次构建生成的文件
3）post-clean：执行清理后需要完成的工作
default:
...
mybatis-plus-3.0 通用crud实现原理
mapper创建流程（@MapperScan 具体实现细节）
1》factory创建之后回调各个BeanFactoryPostProcessor
2》ConfigurationClassPostProcessor#processConfigBeanDefinitions 处理@Configuration注解
3》 依次处理 application（@SpringBootConfi ...
美图端到端（客户端到服务端）一体化监控
一、架构演进
zabbix
open-falcon
立体化
二、相关技术
ELK prometheus influxdb opentsdb grafana（统一展示）
metricfilebeat https://blog.csdn.net/u014773389/article/details/81207017
分布式trace
三、AI ops
ruptures https://pypi.org/project/ruptures/
metis https://github.com/Tencent/Metis
<企业级 ...
区块链场景化应用
一、抽象分类：
数字资产、共享账本（平等、共享、自治、共建）
二、场景：
1、供应链金融（2B）：
痛点：小企业发展快，但是融资难。银行无法监控小企业还款，想响应国家号召落地有难处。
例子：比亚迪--轮胎厂--轮毂厂--铝锭--铝矿。
问题：中国特色，押款。
解决方案：核心企业（银行相信一级供应商）授信成为数字资产上链，之后当债券流通。
解决的问题：三角债 以债多还 降低小企业融资成本
必要性：是不是非要上链不可；链下是否真实；合规合法；参与动力
适合情况：多方参与，互不信任；可信机构保证真实；提升效率，降低成本
2、游戏（2C）
...
B端产品学习笔记
一、B端产品分类:协作办公 即时通讯 企业管理 销售运营。
二、功能的本质:数据的增删改查 ,从数据流转的角度看整个系统
三、C端与B端产品的区别:
1、流转的数据归谁所有，归谁支配 2、谁来付钱
四、产出
竞品分析 产品分析 用户调研报告 发展路线图 需求说明文档 需求排期文档 站点地图
传统企业数字化
一、行业现状
审批复杂效率低；经营边际成本递增；国际上传统企业（walmart）曾经自己发射过卫星，非常重视it技术；对自己的客户完全不了解，复购率？消费者年龄段？； 产品战略倒挂，经理谈战略，总监谈战术，CEO谈按钮；
总结：管理上成本高 ...
1、实时 flume(收集日志)--> kafka(缓存队列，平衡采集和消费端)--》storm（实时计算）--》hdfs
2、离线 spark + hdfs
核心组件：storm spark
一、抵御流量洪峰，
整体架构设计如下：
1、nginx+tomcat
2、tomcat controller取到请求后向rocketmq 发送一个msg，将msg id返回给app，同时在redis里缓存msg状态为init（设置定时时间，时间到后清除）
3、client（app/h5/小程序） 通过msg i ...
大数据、数据仓库和ETL
- 博客分类：
- 总结整理
一、背景
大量原来线下的业务电子化之后，产生了很多的数据，这些数据除了能够支撑业务正常运转，也能够使分析人员针对整个企业的运转情况进行分析。比如，本周与上周相比销量增加还是减少了？原因是什么？ 产品的库存周期长了还是短了？哪些产品需要及时补充库存？哪些供应商提供的商品，成本低、质量好、及时供货、客户比较喜欢？哪些地方的支出变多了？用户对我的产品满意吗？客户发生了哪些变化？需要招人吗？招什么样的人？ 上面这些问题分别涉及 销售、库存、采购、会计、客户、HR等各个层面。
二、业务型系统与分析型系统的区别 OLTP VS OLAP
OLTP：代表具体的操作，是对原 ...
单机与分布式的组件差异
- 博客分类：
- 总结整理
一、单机程序
1、用内存进程队列实现解耦合和异步（观察者模式），
2、用数据库来管理数据，
3、用锁和条件来同步线程，
4、用内存存储数据，
5、用多线程提高并发，
6、防止被kil掉（多个进程之间彼此守护，在合适的时候互相拉起）
二、分布式环境下：
1、消息队列 mq实现异步化（顶住流量洪峰）和解耦（适合彼此调用关系非常复杂的场景），
2、数据库hash实现分库分表，ES实现快速查询
3、分布式锁来同步各个服务（进程）或资源（比如db），
4、使用redis等替代内存，
...
Webmagic 内部实现
- 博客分类：
- java
Webmagic 内部实现
1、Site的地位是全局的setting或环境
2、scheduler 大概是一个url排序和去重的队列
3、downloader 封装httpclient连接池，进行下载操作；结果产出page（封装下载的内容和http 状态码）
4、PageProcessor 对下载的内容做处理
pipeline：对processor处理的结果进行计算、持久化等处理
5、spider 组织所有的流程和模块。核心逻辑 run：1》创建线程池，2》从scheduler获取URL 3》 调用downloader下载 4》 回调PageProcessor 4》 提取新的ur ...
一、基本概念
1、数据仓库：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
其中最核心的是集成 ...
1、stub：存根，桩，模拟的代理远端的服务，可以附加容错等功能。
2、消费方 stub： 内部使用proxy，提供容错等机制，配置时使用stub
<dubbo:reference id="userService" interface="org.huxin.dubbo.test.user.service.UserInterface"
stub="org.huxin.dubbo.test.UserServiceStub" protocol="dubb ...
ElasticSearch 三 建立索引快的原因
- 博客分类：
- 总结整理
https://blog.csdn.net/u010994304/article/details/50427672
一、lucene 本身的机制：index分多个segment存入磁盘，新的文件存入新的segment，搜索器更新到新的segment
二、es的改进
1、新的segment不是fsync到磁盘，而是同步到内核文件缓存（默认1s），内核文件缓存再在合适的时间真正刷磁盘
2、fsync之前怎么保证可靠？使用translog记录这段时间的操作，translog本身每5秒刷一次磁盘
3、合并小的旧的segment
代码：
S ...
ElasticSearch 二 查询快的原因
- 博客分类：
- 总结整理
https://www.jianshu.com/p/ed7e1ebb2fb7
1、内部使用Lucene的倒排索引，为每个field建立一个docid列表（Posting list）
2、不同的field名字建立一个term dictionary（每个term对应原来的一个field），并且term本身进行索引（trie 树）
3、数据进行压缩
4、组合查询时的优化
注意点：
ID尽量有规律、去掉不必要的索引、去掉不必要的analyzed
1、Indices 索引，类似于mysql的Databases
2、Types 类型，类似于mysql的Tables
3、Documents 文档。类似于mysql的Row
4、Fields 域，字段，类似于Column
5、schema mapping：所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射（mapping）。一般由用户自己定义规则。定义后续数据如何建立索引，会定义数据的类型、是否索引、是否存储等，已有数据要改变映射关系需要reindex，mapping在整个index内有效（type不能作为作用域）。索引类型：analy ...