文章列表
1，Hadoop简述
Hadoop是一个开发和运行处理大规模海量数据的软件平台，用户可以在不了解分布式底层细节的情况下，实现在大量计算机组成的集群对海量数据进行高速分布式的计算和存储
Hadoop框架中最核心设计就是：HDFS和MapRedu ...
- 2016-01-14 14:43
- 浏览 379
- 评论(0)
1, Solr is a standalone enterprise search server with a REST-like API. You put documents in it (called "indexing") via
JSON, XML, CSV or binary over
HTTP. You query it via HTTP GET and receive JSON, XML, CSV or binary results.
2, Solr Administration User Interface
Logging
Cloud Scre ...
- 2016-01-14 14:43
- 浏览 476
- 评论(0)
1，备选方案
- 硬件：F5，Array
- 软件：
- Nginx：
- 优点：
- 工作在网络第七层之上，针对Http做分流策略，比如：域名，URL，目录结构，正则规则比HAProxy强大
- Nginx对网络稳定性依赖非常小，LVS对网络依赖比较大
- Nginx安装比较简单
- 曾担高负载且稳定
- Nginx可以可以通过端口检查服务器内部的故障
- Nginx不仅仅是负载均衡器/反向代理软件，也是强大的Web应用服务器
- 作为强大的中层反向代理使用
...
- 2016-01-14 14:42
- 浏览 442
- 评论(0)
JVM的每个实例都有一个它自己的方法域和一个堆，运行于JVM内的所有的线程都共享这些区域
当虚拟机装载类文件的时候，它解析其中的二进制数据所包含的类信息，并把它们放到方法域中
当程序运行的时候，JVM把程序初始化的所有对象置于堆上
而每个线程创建的时候，都会拥有自己的程序计数器和
Java栈，其中程序计数器中的值指向下一条即将被执行的指令，线程的Java栈则存储为该线程调用Java方法的状态
本地方法调用的状态被存储在本地方法栈，该方法栈依赖于具体的实现
组成部分：
- 2016-01-14 14:41
- 浏览 367
- 评论(0)
概述
排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。
我们这里说说八大排序就是内部排序。
当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。
快速排序：是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字是随机分布时，快速排序的平均时间最短；
1.插入排序—直接插入排序(Straight Insertion Sort)
- 2016-01-14 14:39
- 浏览 471
- 评论(0)
1，ACID
在传数据库系统中，事务具有ACID 4个属性
原子性（Atomicity）：事务是一个原子操作单元，其对数据的修改，要么全都执行，要么全都不执行
一致性（Consistent）：在事务开始和完成时，数据都必须保持一致状态。这意味着所有相关的数据规则都必须应用于事务的修改，以保持数据的完整性；事务结束时，所有的内部数据结构（如B树索引或双向链表）也都必须是正确的
隔离性（Isolation）：数据库系统提供一定的隔离机制，保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程中的中间状态对外部是不可见的，反之亦然
持久性（Durable）：事务完 ...
- 2016-01-14 14:33
- 浏览 452
- 评论(0)
一、概述
1、我们的memcache客户端使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同，只是对我们要存储数据的key进行hash计算，分配到不同节点存储。一致性hash算法是对我们要存储数据的服务器进行hash计算，进而确认每个key的存储位置。
2、常规hash算法的应用以及其弊端
最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。的确，这种结构是简单的，也是实用的。但 是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系 ...
- 2016-01-13 17:27
- 浏览 462
- 评论(0)
在分布式系统中，如果某业务可以由多个相同的节点处理，很容易想到用HASH的方式将业务请求分散到这些节点处理，如果有N个节点，计算方法为：HASH（id）% N。
如果只是简单的计算，不涉及用户状态，这是一个简单有效的方案。如果节点的计算涉及用户状态，比如维护购物车、Memcache缓存服务等，好像也没什么 问题，只要用同一个数据做id，上述HASH的结果也保持不变。但如果节点数量发生变化，比如由于业务量的增大而增加节点或由于机器宕机而减少节点，上述 HASH的结果就不一样了。若增加2个节点，某id原处理节点为HASH（id）% N，新的处理节点就变成了HASH（id）% （N + 2），可 ...
- 2016-01-13 17:26
- 浏览 249
- 评论(0)
一直以来「奇葩」这个词都是偏贬义的，直到去年有个综艺节目叫「奇葩说」挺热闹，这里的人不一定是奇葩，更多指达人的意思。 「奇葩说」里的达人都是能说会道的，我的主业是程序员，所以只能写写在我职业生涯中碰到 ...
- 2016-01-12 22:35
- 浏览 391
- 评论(0)
前文《MySQL 数据库事务与复制》分析了 MySQL 复制过程中如何保证 binlog 和事务数据之间的一致性，本文进一步分析引入从库后需要保证主从的数据一致性需要考虑哪些方面。
原生复制架构
MySQL 的原生复制架构原理如上图所 ...
- 2016-01-12 18:53
- 浏览 606
- 评论(0)
线上需求：
处理nginx的访问access日志和商城的搜索历史记录。（由于访问量不大、没有用到redis或者其他消息队列）。
之前做的一个版本使用solrcloud做电商搜索引擎、elasticsearch做实时日志系统。
参考文档资料：
http://elasticsearch.cn/ medcl的中文社区
http://kibana.logstash.es/ELK stack 中文指南
https://www.elastic.co/downloads/elasticsearch elasticsearch官网
准备好这logstash、elasticsea ...
- 2016-01-12 12:52
- 浏览 1035
- 评论(0)
作者：龙心尘 &&寒小阳
时间：2016年1月。
出处： http://blog.csdn.net/longxinchen_ml/article/details/50493845， http://blog.csdn.net/han_xiaoyang/article/details/50503115
声明：版权所有，转载请联系作者并注明出处
1. 剧情一：挑螃蟹的秘密
...
- 2016-01-12 11:54
- 浏览 525
- 评论(0)
作者：龙心尘 &&寒小阳
时间：2016年1月。
出处： http://blog.csdn.net/longxinchen_ml/article/details/50471682, http://blog.csdn.net/han_xiaoyang/article/details/50481967
声明：版权所有，转载请联系作者并注明出处
1. 引言
再过一个月就是春节，相信有很多码农就要准备欢天喜地地回家过（xiang）年(qin)了。我们今天也打算讲一个相亲的故事。
讲机器学习为什么要讲相亲？被讨论群里的小伙伴催着相亲，哦不，催着讲特征工程紧啊。只是我们不太敢 ...
- 2016-01-08 12:20
- 浏览 594
- 评论(0)
http应用层协议，基于tcp
tcp：传输层协议；面向连接，必须先与对方确认关系。3次握手。。例如telnet
udp：传输层协议；面向非连接的。不管对方状态，直接发送，例如qq。可靠性低
ip：网络层协议
socket：基于tcp/ip网络的api
网络通信io
i：就是从硬盘到内存
o：从内存到硬盘
nio新io是面向缓存的，是非堵塞的。基于反应器Reactor模式，写就绪、读就绪
bio传统io是面向流的，当一个线程发起io的读和写的时候，均为堵塞方式，只有当读完或者写完之后才会释放线程
最简单的比方：
处理1000 ...
- 2016-01-07 14:08
- 浏览 377
- 评论(0)
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。 所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasticsearch的可配置项：1. 集群名称，默认为elasticsearch：
- 2016-01-07 12:11
- 浏览 420
- 评论(0)