javafan_303
- 浏览: 957838 次
- 性别:
- 来自: 北京
-
最新评论
-
baichoufei90：
hadoop权威指南说ZK的zab协议不是用的paxos算法。 ...
zookeeper原理（转） -
shin1355：
看了一小部分，看不下去了，
zookeeper原理（转） -
b_l_east：
表示没看懂楼主关于选举算法的描述，顿时没了读下去的兴致
zookeeper原理（转） -
prince4426：
好前沿的技术呀
hive选型讨论 -
zk519720303：
zookeeper原理（转）
文章列表
一、协同过滤算法描述
推荐系统应用数据分析技术，找出用户最可能喜欢的东西推荐给用户，现在很多电子商务网站都有这个应用。目前用的比较多、比较成熟的推荐算法是协同过滤（Collaborative Filtering，简称CF）推荐算法，CF的基本思想是根据用户之前的喜好以及其他兴趣相近的用户的选择来给用户推荐物品。
如图1所示，在CF中，用m×n的矩阵表示用户对物品的喜好情况，一般用打分表示用户对物品的喜好程度，分数越高表示越喜欢这个物品，0表示没有买过该物品。图中行表示一个用户，列表示一个物品，Uij表示用户i对物品j的打分情况。CF分为两个 ...
所谓SWAP颠簸，字面理解就是内存和硬盘的数据交换比较频繁。
听别人说YouTube的MySQL数据库服务器就曾一度遇到SWAP颠簸的问题，解决办法是删掉SWAP分区！
艺高人胆大！不过对于我们这些菜鸟来说，估计不敢用删除SWAP分区的方法去解决问题，其实我们还有比较文雅的解决方法：
如果使用的MySQL的表类型是Innodb的话，只要设定innodb_flush_method=O_DIRECT，就可以让MySQL别老去用swap。具体可以参考此链接。
广义一点来看，现在服务器的内存都已经很大了，我们完全可以通过调整内核参数来限制swap的使用：
echo 0 > /proc/sy ...
MongoDB与内存
- 博客分类：
- nosql
但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何
使用内存的，答案自然就清楚了。
据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令 ...
最佳线程数:
性能压测的情况下，起初随着用户数的增加，QPS会上升，当到了一定的阀值之后，用户数量增加QPS并不会增加，或者增加不明显，同时请求的响应时间却大幅增加。这个阀值我们认为是最佳线程数。
为什么要找 ...
QPS、PV和需要部署机器数量计算公式
- 博客分类：
- qps
术语说明：
QPS = req/sec = 请求数/秒
【QPS计算PV和机器的方式】
QPS统计方式 [一般使用 http_load 进行统计]
QPS = 总请求数 / ( 进程总数 * 请求时间 )
QPS: 单个进程每秒请求服务器的成功次数
单台服务器每天PV计算
公式1：每天总PV = QPS * 3600 * 6
公式2：每天总PV = QPS * 3600 * 8
服务器计算
服务器数量 = ceil( 每天总PV / 单台服务器每天总PV )
【峰值QPS和机器计算公式】
原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间
公式：( 总PV数 ...
ssh登录 The authenticity of host 192.168.0.xxx can't be established. 的问题 收藏
用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束
错误是：The authenticity of host 192.168.0.xxx can't be established.
以前和同事碰到过这个问题，解决了，没有记录，这次又碰到了不知道怎么处理，还好有QQ聊天记录，查找到一下，找到解决方案：
执行ssh -o StrictHostKeyChecking=no 192.168.0.xxx ...
mysql复合索引的使用场景
- 博客分类：
- mysql
1、复合索引使用的目的是什么？
:能形成索引覆盖,提高where语句的查询效率
2、一个复合索引是否可以代替多个单一索引？
:复合索引的使用原则是第一个条件应该是复合索引的第一列,依次类推,否则复合索引不会被使用
所以,正常情况下复合索引不能替代多个单一索引
3、在进行哪些类型的查询时，使用复合索引会比较有效？
:如果一个表中的数据在查询时有多个字段总是同时出现则这些字段就可以作为复合索引,形成索引覆盖可以提高查询的效率
4、符合索引中索引列的排序原则是什么？
:复合索引的使用原则是第一个条件应该是复合索引的第一列,依次类推
5、什么情况下不适合使用复合索引？
:建立 ...
nginx的调度策略
- 博客分类：
- nginx
1、轮询（默认）
每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
2、weight
指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
例如：
upstream bakend {
server 192.168.0.14 weight=10;
server 192.168.0.15 weight=10;
}
2、ip_hash
每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。
例如：
upstream bakend {
ip_hash;
server 192.168.0.1 ...
网上两个人的牛人牛语，bigtable要淘汰了？google的数据挖掘基本上用的是MPI,而非mapreduce ？ 百度的hypertable真不行吗？
大家边看边学吧
梁建: hive 主要用于 结构化数据 吗？
我: 结构化数据
梁建: hadoop 0.19.1 和 那个 ...
Presence处理是IM Server的核心，也是一个IM Server最复杂的部分。一个用户的状态发生变化，需要通过服务器自动投递给他所有在线的好友，因此Presence模块实际上等同一个消息处理服务器，可参看以前消息服务器相关文章ActiveMQ性能研究及与memcacheq比较。Presence的复杂性体现在：1. 由于每个用户都有1到多个好友，服务器的处理量被放大。2. 分布式处理的复杂度，你的好友可能同时分布在n个服务器上，而且同时上线的好友没有规律。3. 请求量不均衡，可能瞬时非常大。比如你服务器刚重启所有的客户几乎同时自动重连过来。比如Twitter宕机都是在一些热点事件时，大家 ...
SQL Statement Mongo Query Language Statement
CREATE TABLE USERS (a Number, b Number)
implicit; can also be done [explicitly] with
db.createCollection("mycoll")
Hadoop 学习总结之一：HDFS简介
Hadoop学习总结之二：HDFS读写过程解析
Hadoop学习总结之三：Map-Reduce入门
Hadoop
个月婴儿体格生长体重 男婴约5.03公斤 女婴约4.68公斤身长 男婴约57.06厘米 女婴约56.17厘米头围 男婴约38.43厘米 女婴约37.56厘米胸围 男婴约37.88厘米 女婴约37厘米坐高 男婴约37.94厘米 女婴约37.35厘米 2个月婴儿体格生长 体重 男婴约6.03公斤 女婴约5.48公斤身长 男婴约60.30厘米 女婴约58.99厘米头围 男婴约39.84厘米 女婴约38.67厘米胸围 男婴约40.10厘米 女婴约38.78厘米坐高 男婴约40.00厘米 女婴约39.05厘米 3个月婴儿体格生长 体重 男婴约6.93公 ...
http://bxyzzy.blog.51cto.com/854497/352692