EclipseEye
- 浏览: 150098 次
- 性别:
- 来自: 北京
-
最新评论
-
EclipseEye：
fair_jm 写道不错 蛮详细的 谢谢分享
SWT/JFace专题 --- SWT中Display和多线程 -
fair_jm：
不错 蛮详细的 谢谢分享
SWT/JFace专题 --- SWT中Display和多线程
文章列表
HBase数据迁移（1）
http://www.importnew.com/3226.html
HBase数据迁移（2）- 使用bulk load 工具从TSV文件中导入数据
http://www.importnew.com/3645.html
HBase数据迁移（3）-自己编写MapReduce Job导入数据
http://www.importnew.com/3912.html
提升HBase数据库写入性能
http://database.51cto.com/art/201303/387122.htm
Mysql到HBase数据迁移Sqoop工具方法
http://www.it165. ...
zookeeper适用场景：如何竞选Master及代码实现
http://www.aboutyun.com/thread-9277-1-1.html
【zookeeper源代码分析系列】Zookeeper的Leader选举
http://www.douban.com/note/227624842/?type=like
【选举算法】
QuorumPeer.startLeaderElection
先获取选举算法配置electionType -> config.getElectionAlg() -> electionAlg
QuorumPeer.createElectionAlg ...
海量数据去重的五大策略
http://www.ciotimes.com/bi/sjck/77064.html
【每日N题】由海量数据去重所想到的，面试思维惯式
http://blog.csdn.net/sunxinhere/article/details/8011144
1.一致性hash
memcache的一致性hash算法使用
http://blog.csdn.net/kongqz/article/details/6695417
基于Redis分布式缓存实现
http://www.linuxidc.com/Linux/2012-11/74363.htm
2.bloom filter
http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html
3.sql优化
http://www.jb51.net/article/24392.htm
4.jvm垃圾回收原理级ABA问题
http://blog ...
创建数据仓库相关
- 博客分类：
- Hive/hql
- Hbase/nosql
数据仓库系列
http://blog.csdn.net/kingzone_2008/article/category/1272612
数据仓库中维度建模
http://blog.csdn.net/athenaer/article/details/7885662
数据仓库构建步骤
http://www.douban.com/note/233806228/
http://www.csdn.net/tag/数据仓库
使用 Hive 构建数据仓库
http://www.ibm.com/developerworks/cn/data/library/bd-hivewarehouse/
http:/ ...
1.Hive几种数据导入方式
http://www.iteblog.com/archives/949
2.Hive几种数据导出方式
http://www.iteblog.com/archives/955
方法一
find ./ -name "*.txt" | while read f; do sed -i '1i welcome to eclipseeye 23333333'; done
方法二
find ./ -name "*.txt" | xargs sed -i '1i welcome to eciipseeye 23333'
方法三
find ./ -name "*.txt" -exec sed -i '1i welcom to eciipseeye 23333' {} \
Linux xargs命令
xargs是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块，以方便过滤器和命令进行处理。通常情况下，xargs从管道或者stdin中读取数据，但是它也能够从文件的输出中读取数据。xargs的默认命令是echo，这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。
xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令，下面是一些如何有效使用xargs 的实用例子。
1. 当你尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/ ...
=====================================
grep查找文件中的关键词
-- r表示递归，n表示显示行号 include表示只找php，hello,world是查找内容，mydir是查找目录
grep -nr --include="*.php" "hello,world" /mydir/
-- 只显示文件清单，不显示行数，和匹配内容
grep -lr --include="*.php" "hello,world" /mydir/
==================== ...
linux下使用tar命令
解压
语法：tar [主选项+辅选项] 文件或者目录
使用该命令时，主选项是必须要有的，它告诉tar要做什么事情，辅选项是辅助使用的，可以选用。
主选项：
c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。
x 从档案文件中释放文件。相当于拆包。
t 列出档案文件的内容，查看已经备份了哪些文件。
特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。
辅助选项：
-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩或解压？ 一般格式为xx.tar.gz或x ...
[大牛翻译系列]Hadoop 翻译文章索引
http://www.cnblogs.com/datacloud/p/3604492.html
mapreduce合并小文件成sequencefile
http://shiyanjun.cn/archives/291.htmlhttp://blog.csdn.net/xiao_jun_0820/article/details/42747537
http://www.cnblogs.com/dandingyy/archive/2013/03/08/2950720.html
HDFS小文件问题及解决方案
http://dongxicheng.org/ ...
数据倾斜总结
http://www.alidata.org/archives/2109
浅析 Hadoop 中的数据倾斜
http://my.oschina.net/leejun2005/blog/100922
http://blog.csdn.net/longshenlmj/article/details/17304437
[大牛翻译系列]Hadoop（14）MapReduce 性能调优：减小数据倾斜的性能损失
http://www.cnblogs.com/datacloud/p/3601624.html?utm_source=tuicool
hive优化方式和使用技巧
http://b ...
使用shell并发上传文件到hdfs
http://mos1989.blog.51cto.com/4226977/1589807?utm_source=tuicool
hdfs日志上传脚本(三)
http://www.verydemo.com/demo_c353_i4063.html
海量Web日志分析 用Hadoop提取KPI统计指标
http://blog.fens.me/hadoop-mapreduce-log-kpi/
每天一个linux命令（60）：scp命令
http://www.cnblogs.com/peida/archive/2013/03/15/2960802.htm ...
Flume NG 简介及配置实战
http://my.oschina.net/leejun2005/blog/288136?utm_source=tuicool
Flume(NG)架构设计要点及配置实践
http://shiyanjun.cn/archives/915.html
分布式日志收集系统Apache Flume的设计详细介绍
http://www.aboutyun.com/thread-7848-1-1.html
牛逼人博客
http://my.oschina.net/leejun2005/blog
Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Upda ...
hive牛逼（1）hive一览 备忘
- 博客分类：
- Hive/hql
1. 基本数据类型
tinyint , smallint, int, bigint, float, double, boolean: true/false, string
2. 基础运算符与函数
A IS NULL 空
A IS NOT NULL 非空
A LIKE B 模糊匹配
A RLIKE B 正则表达式匹配
A REGEXP B 正则表达式匹配
3. 类型转换
cast(expr as <type>)
例如：
cast('1' as BIGINT) 将字符串'1'转化成bigint型
4. 日期函数
返回值类型 ...