zcf9916
- 浏览: 57132 次
- 性别:
- 来自: 福州
-
最新评论
文章列表
一.hadoop 使用Docker安装配置
- 博客分类：
- hadoop
一.安装hadoop
(这里需要有一定的docker知识)
1.安装镜像
我们抛弃了传统的vm方式,使用docker来安装部署hadoop.首先要准备一个镜像，可以使用Dockerfile构建一个合适自己的镜像，或者可以在共有仓库中找一个具有hadoop环境的镜像来使用也可以。由于我是配置的阿里云的加速器，所以在阿里云的仓库中找了一个具有hadoop环境的镜像。hadoop镜像地址
使用命令拉到本地
docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop
...
java知识点总结
- 博客分类：
- java 线程相关知识点
线程类:
1.start是在主线程执行,run是新开启一个线程执行
2. synchronized是对类的当前实例进行加锁，static synchronized是对类进行加锁.
pulbic class Something(){
public synchronized void isSyncA(){}
public synchronized void isSyncB(){}
public static synchronized void cSyncA(){}
public static ...
mysql 之 schema与数据类型优化
- 博客分类：
- mysql
一.选择优化的数据类型
1.更小的通常更好:如果只要保存1~200,tinyint unsigned更好.因为占用更小的内存和磁盘空间.
2.简单就好: 简单数据类型需要更小的CPU时间周期.例如:整型比字符操作代价更低(字符集的问题).使用my ...
转载:http://blog.csdn.net/whoamiyang/article/details/51901888
1. MVCC简介
1.1 什么是MVCC
MVCC是一种多版本并发控制机制。
1.2 MVCC是为了解决什么问题?
大多数的MYSQL事务型存储引擎,如,InnoDB，Falcon以及PBXT都不使用一种简单的行锁机制.事实上,他们都和MVCC–多版本并发控制来一起使用.
大家都应该知道,锁机制可以控制并发操作,但是其系统开销较大,而MVCC可以在大多数情况下代替行级锁,使用MVCC,能降低其系统开销.
1.3 MVCC实现
MVCC是通过保存数据在 ...
redis持久化
一. RDB持久化
1.1 RDB持久化的一些特性
用save(阻塞)和bgsave(非阻塞,派生一个子进程来处理)可以生成RDB文件.
因为AOF文件的更新频率比RDB高,所以如果开启了AOF会优先使用AOF来还原数据库状态.
服务器在载入RDB文件期间会一直阻塞,直到完成.
1.2 自动保存间隔
我们可以在配置文件中配置.
save 900 1;save 300 1;
分别代表900秒内进行至少一次修改,300秒内至少一次修改,那么就会执行BGSAVE
...
redis对象类型
redis并没有用我们先前提到的的主要数据结构:SDS,链表,字典,压缩列表,跳跃列表作为redis对象的直接实现.而是基于这些数据 结构创建一个对象系统.
这个系统包括了字符串对象,哈希对象,列表对象,集合对象和有序集合对象.每种对象都至少用到了一个我们前面介绍的数据结构.
一.对象类型以及编码
redis使用对象表示数据库中的键和值.每次新建一个键值对的时候,至少会创建两个对象,键对象和值对象.例如:set msg "hello".msg就是键对象,hello就是值对象.
redis每 ...
mysql 分页语句优化
- 博客分类：
- mysql
测试数据表结构
现在有两张表 customer,以及order_test, customerId的主键是order_test的外键
CREATE TABLE `customer` (
`customerId` int(11) NOT NULL AUTO_INCREMENT,
`phone` varchar(11) NOT NULL COMMENT '手机号',
`password` varchar(20) NOT NULL COMMENT '密码',
PRIMARY KEY (`customerId`)
) ENGINE=I ...
mysql explain 各个字段的含义
- 博客分类：
- mysql
1）、id列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表是这是一个结果集，不需要使用它来进行查询。
2）、select_type列常见的有：
A：simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个
B：primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个
C：union：union连接的两个
mysql常用引擎的基本特性
- 博客分类：
- mysql
mysql常用的三种引擎
(1) MyISAM存储引擎
不支持事务、也不支持外键，支持全文索引优势是访问速度快，对事务完整性没有 要求或者以select，insert为主的应用基本上可以用这个引擎来创建表支持3种不同的存储格式，分别是：静态表；动态表；压缩表
静态表：表中的字段都是非变长字段，这样每个记录都是固定长度的，优点存储非常迅速，容易缓存，出现故障容易恢复；缺点
MySQL索引背后的数据结构及算法原理
- 博客分类：
- mysql
索引的本质
MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。
我们知道，数据库查询是数据库的最主要功能之一。我们都希望查询数据 ...
红黑树 与 B+树区别和应用场景
- 博客分类：
- mysql
红黑树
红黑树是每个节点都带有颜色属性的二叉查找树，颜色或红色或黑色。在二叉查找树强制一般要求以外，对于任何有效的红黑树我们增加了如下的额外要求:
1. 节点是红色或黑色
2. 根节点是黑色。
3 每个叶节点（NIL节点，空节点）是黑色的。
4 每个红色节点的两个子节点都是黑色。(从每个叶子到根的所有路径上不能有两个连续的红色节点)
5. 从任一节点到其每个叶子的所有路径都包含相同数目的黑色节点。
红黑树和avl(二叉平衡树)的比较
1. 如果插入一个node引起了树的不平衡，AVL和RB-Tree(红黑树)都是最多只需要2 ...
Zookeeper介绍
- 博客分类：
- zookeeper
Zookeeper介绍
Zookeeper特性
zookeeper是一个开源的分布式协调服务.设计的目标是将那些复杂容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集.
一致性
从同一个客户端发起的事务请求,最终在zookeeper会按顺序执行.
原子性
所有事务请求的处理结果在所有节点上都是一致的.
单一试图
无论客户端连接上的是哪个zookeeper,看到的服务端数据模型都是一致的.
zookeeper的数据模型类似于一个文件系统,节点(ZNo ...
使用Zookeeper
- 博客分类：
- zookeeper
一.部署与运行
1.系统环境
zk支持绝大多少操作系统.不过需要注意的是,FreeBsd系统的JVM对JAVA的NIO支持的不是很好,不建议在该系统上部署生产环境.
2.java环境
建议使用jdk1.6或者以上的版本.
3.集群或者单机
3.1集群模式需要至少三台机器, jdk和zk都下载配置好之后.修改$ZK_HOME/conf下面的zoo_sample.cfg
tickTime=2000
initLimit=5
syncLimit= ...
shell 截取变量
- 博客分类：
- shell
假设有变量 var=http://www.aaa.com/123.htm.
1. # 号截取，删除左边字符，保留右边字符。
空格键 向右移动一格
x 删除后面的字符 X 删除前一个字符 删除3个字符就是3x
dd:删除一行 D 删除到行尾
caw:改写单词 c 相当于 d 变为编辑模式
J:删除换行符，使下一行并上来。 nJ:连接后面的n行
u:撤销上一次操作 U:撤销当前行的所有修改
ctrl+r:对撤消的撤消
i 在光标前插入
I 在行首插入 a 在光标后插入
A 在行末插入
o:在当前行的下面另起一行，并变为插入模式
O：在当前行上面另起一行，变为插入模式
Ctrl+o:临时变成命令模式（一次而已）
：e!:放弃更改，然后相当于重新打开