longzhun
- 浏览: 370303 次
- 性别:
- 来自: 北京
-
最新评论
-
记忆无泪：
遇到这个问题我用的sed -i 's/\r$//' /mnt/ ...
CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法 -
alenstudent：
Windows 下Nexus搭建Maven私服 -
dandongsoft：
lucene3+IK分词器 改造 lucene2.x+paoding -
duanyanrui：
学习了，支持
Google-Gson -
yscyfy：
这是你直接翻译过来的？？？
Google-Gson
文章列表
cassandra的连接池配置
- 博客分类：
- cassandra
cassandra的连接池配置
cassandra的datastax驱动使用的是异步nio实现的，发出去的请求，不会阻塞线程，当有响应的时候会通知你。所以cassandra客户端和服务器之间不需要太多的连接，因为发送一个请求是很快的，只要一个线程不断监听响应就可以了。
cassandra的配置方式如下：
PoolingOptions poolingOptions = new PoolingOptions();
poolingOptions
.setMaxSimultaneousRequestsPerConnectionThreshold(HostDistance.LOCAL, 32) ...
1、为什么不可以设置listen_address为0.0.0.0（意思是监听所有地址）？
Cassandra是一个基于gossip协议的分布式系统，监听地址是用来告诉其它节点来访问的，告诉别的节点说“连接我任何地址都可以”，是一个糟糕的想法，如果集群中不同的节点使用了不同方式的地址，悲剧的事情就要发生了。
如果你不想为你集群中的每个节点单独配置ip（非常可以理解）,你可以不配，空着它，Cassandra将会使用InetAddress.getLocalHost()来选择地址，然后只要你或者你的运维团队保证这个是正确的(/etc/hosts/,dns 等等要配置对)。
一个例外是JMX,他默 ...
cassandra是集群部署，多个节点，多个数据备份，一两个节点挂掉，一般不会有数据丢失。只要删除当掉的节点，对其它节点进行repair，数据都会自动均衡到完整的份数。
但是如果大面积节点掉电，或者机房着火那就肯定要丢失数据了，使用cassandra作为数据存储的业务，肯定是很大的业务，数据量超大的那种。机房容灾肯定是必不可少的。
cassandra提供多种多数据中心部署、机架敏感策略。这里介绍一种最普通的一种: GossipingPropertyFileSnitch
GossipingPropertyFileSnitch策略支持简单的多个数据中心，和多机架。
第一步：
在cassa ...
Cassandra中的各种策略
- 博客分类：
- cassandra
1. 背景介绍
Cassandra 使用分布式哈希表（DHT）来确定存储某一个数据对象的节点。在 DHT 里面，负责存储的节点以及数据对象都被分配一个 token。token 只能在一定的范围内取值，比如说如果用 MD5 作为 token 的话，那么取值范围 ...
cassandra集群要求严格的时间同步，有一点同步就会发生这样那样的问题，这个事情我已经在cassandra集群要求严格的时间同步里说明了，所以时间同步是cassandra集群的前提。
cassandra使用的是最后一致性模型，也就是说一开始的并发更新的数据可能是不一致的，但是经过这段不一致的时间之后，系统会达到最终的一致性。让每个客户端看到的结果是一样的。
这个最终一致性的强度，在cassandra中是有你所选的一致性模型决定的。通常使用cassandra，我们选择QUORUM级别，表示有半数副本收到请求的时候，返回客户端响应，这样保证插入的数据，可以肯定被查询到。然而这里存在一个问题 ...
Cassandra安装和cql测试
- 博客分类：
- cassandra
一：下载cassandra
http://archive.apache.org/dist/cassandra/
我用的是2.1.8，3.9需要java8
wget http://archive.apache.org/dist/cassandra/2.1.8/apache-cassandra-2.1.8-bin.tar.gz
二：解压
tar -zxvf apache-cassandra-2.1.8-bin.tar.gz
三：新建目录
mkdir /usr/local/cassandra/data
mkdir /usr/local/cassandra/commitlog
m ...
Java加密解密全解
- 博客分类：
- netty
1 sha加密：
安全哈希算法（Secure Hash Algorithm）主要适用于数字签名标准（Digital Signature Standard DSS）里面定义的数字签名算法（Digital Signature Algorithm DSA）。对于长度小于2^64位的消息，SHA1会产生一个160位的消息摘要。该算法经过加密专家多年来的发展和改进已日益完善，并被广泛使用。该算法的思想是接收一段明文，然后以一种不可逆的方式将它转换成一段（通常更小）密文，也可以简单的理解为取一串输入码（称为预映射或信息），并把它们转化为长度较短、位数固定的输出序列即散列值（也称为信息摘要或信息认证代码） ...
Storm集群的安装配置
- 博客分类：
- storm
Storm集群的安装分为以下几步：
1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装
2、释放压缩包
3、修改storm.yaml添加集群配置信息
4、使用storm脚本启动相应服务并查看服务状态
5、通过web查看storm集群的状态
一：准备工作：下载好zookeeper3.4.9文件http://apache.fayea.com/zookeeper/
cd /usr/local
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
tar -zxvf zookeeper-3.4.9.tar.gz
二：配置一台机器上的zookeeper配置文件
1.
cd zookeeper-3.4.9/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
1,2,3是标识符 ...
HBase总结（七）LSM理解
- 博客分类：
- hbase
讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：
哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.Right
B树存储引擎是B树（关于B树的由来，数据结构以及应用场景可以看之前一篇博文）的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。
LSM树 ...
Hbase总结（六）hbase37个笔试题
- 博客分类：
- hbase
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间
1. HBase来源于哪篇博文？ C
A The Google File System
B MapReduce
C BigTable
D Chubby
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase数个不错的选择，那么我们对于hbase还存在下列问题：
1.Column Family代表什么？2.HBase通过row和column确定一份数据，这份数据的值可能有多个版本，为什么会存在多个版本？3.查询的时候会显示那个版本？
在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您 ...
问题导读：
hive与hbase的底层存储是什么？
hive是产生的原因是什么？habase是为了弥补hadoop的什么缺陷？共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：
hbase总结（二）-hbase安装
- 博客分类：
- hbase
本篇介绍两种HBase的安装方式：本地安装方式和伪分布式安装方式。
安装的前提条件是已经成功安装了Hadoop，而且hadoop的版本要和hbase的版本相匹配。
我将要安装的hbase是hbase-0.94.11版本，需要的hadoop是hadoop-1.2.1版本。
hbase下载地址：http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/
将下载的hbase-0.94.11解压到相应的目录，如/usr/hbase-0.94.11
将hbase-0.90.4重命名为hbase
mv hbase-0