文章列表
Hadoop组件之-HIVE(位图索引)
- 博客分类：
- Hadoop
索引概述
什么是索引？
索引是Oracle数据库中提供的一种可选的数据结构，用于关联一个表。
为什么要使用索引？
索引在有些情况下可以加快访问速度，减少磁盘IO。
通常情况下时候使用索引？
表中的某列经常会在查询中使用，并且经常用返回占表中数据总量比例较少的row set。
引用完整性约束列。
unique key 。
下面我们来简述一下两种常见的索引类型：B-Tree索引以及BitMap索引。
Hadoop组件之-HDFS(HA实现细节)
- 博客分类：
- Hadoop
Hadoop NameNode 高可用 (High Availability) 实现解析
在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析，主要包括 NameNode 的主备切换实现分析和 NameNode 的共享存储实现分析。文章的最后在结合作者自身实践的基础上，列举了一些在高可用运维过程中需要注意的事项。
一、背景
天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试 ...
Python-With...As语法
- 博客分类：
- Hadoop
理解Python中的with…as…语法
Posted in python - 22 五月, 2013 - 2 Comments
使用语言的好特性，而不是那些糟糕的特性————不知道谁说的
好久不学习python的语法了，上次去面试，和面试官聊到了python中的with-as statement（也称context manager），挺感兴趣的，这两天学习了一番，收获颇丰在此分享。
先说明一个常见问题，文件打开：
Linux-RPM详解
- 博客分类：
- Hadoop
rpm命令手册和查看rpm安装包的安装路径的方法
来源：互联网 作者：佚名 时间：04-22 14:07:45 【大 中 小】
rpm -qpl xxxxxx.rpm 1.如何安装rpm软件包 rmp软件包的安装可以使用程序rpm来完成。执行下面的命令 rpm -i your-package.rpm 其中your-package.rpm是你要安装的rpm包的文件名，一般置于当前目录下。 安装过程中可能出现下面的警告或者提示： ... conflict with .
Linux-NTP服务配置
- 博客分类：
- Hadoop
配置NTP服务ntpd/ntp.conf（搭建Hadoop集群可参考）
标签： ntpntpdntp.conf
2014-11-24 08:55 5915人阅读 评论(0) 收藏 举报
Hadoop源码解析之: TextInputFormat如何处理跨split的行
标签： hadoopsplitTextInputFormat跨split
2013-07-19 14:44 6402人阅读 评论(1) 收藏 举报
Hadoop组件之-Sqoop
- 博客分类：
- Hadoop
前置条件
已经成功安装配置Hadoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。
下载sqoop和Mysql的JDBC驱动
sqoop-1.2.0-CDH3B4.tar.gz ：http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz
mysql-connector-java-5.1.28
Hadoop组件之-Kafka
- 博客分类：
- Hadoop
一、入门
1、简介
Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(
<iframe id="cproIframe_u1728839_3" style="word-wrap: break-word;" src="http://pos.baidu.com/acom?adn=4&at=160&aurl=&cad=1&ccd=24&cec=GBK&cfv=0&ch=0&col=zh-CN&conOP=0&cpa=1&dai=3&am ...
Hadoop企业级搭建之-版本选择
- 博客分类：
- Hadoop
太多选择——如何挑选合适的大数据或Hadoop平台?
作者 Kai Wähner ，译者 王灵军 发布于 2013年10月9日 | 注意: ArchSummit全球架构师峰会（北京）2015年12月18-19日，
Hadoop企业级搭建之-组网设计方案理解
- 博客分类：
- Hadoop
深入理解Hadoop集群和网络
发表于2012-08-30 14:09| 次阅读| 来源个人博客| 0 条评论| 作者Brad Hedlund
Hadoop大数据虚拟化服务器
摘要：本文将着重于讨
Hadoop企业级搭建之-组网设计(收敛比)
- 博客分类：
- Hadoop
高性能数据中心网络的流量收敛设计
收藏
打印
推荐
find命令查找包含指定内容的文件
2011-09-05 18:59 10285人阅读 评论(0) 收藏 举报
shellfilecommandfunctionuserbuild