月光杯
- 浏览: 385925 次
- 性别:
- 来自: 上海
-
最新评论
-
tonyyan：
谢谢分享！
mapreudce 通过读取hbase表删除hbase 数据 -
maicose：
学习了，谢谢
使用spring @Scheduled注解执行定时任务 -
shuaianwen：
若果使用这种注解方式，多个定时任务设置成相同时间貌似不能并行； ...
使用spring @Scheduled注解执行定时任务 -
hanmiao：
故事不错，感觉那小男孩是個营销人才，哈哈...
前期是老板给你发工资，中期是能力给你发工资，后期是品德给你发工资！
文章列表
hadoop 添加删除datanode及tasktracker 首先： 建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml
Java代码
在HBase中创建的一张表可以分布在多个Hregion，也就说一张表可以被拆分成多块，每一块称我们呼为一个Hregion。每个Hregion会保 存一个表里面某段连续的数据，用户创建的那个大表中的每个Hregion块是由Hregion服务器提供维护，访问Hregion块是要通过 Hregion服务器，而一个Hregion块对应一个Hregion服务器，一张完整的表可以保存在多个Hregion 上。HRegion Server 与Region的对应关系是一对多的关系。每一个HRegion在物理上会被分为三个部分：Hmemcache(缓存)、Hlog(日志)、HStore(持久层)。上述这些关系 ...
环境配置
操作系统 centos 5.8 hadoop版本cloudera cdh3u3 hbase版本hbase-0.90.4-cdh3u3 php版本5.2
1. 下载并编译thrift
# wget http://ftp.tc.edu.tw/pub/Apache/thrift/0.8.0/thrift-0.8.0.tar.gz
安装所需的依赖包
# yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-deve ...
shell语句操作hbase方法
- 博客分类：
- hbase
可以利用shell 脚本执行hbase shell中的一些操作
#!/bin/sh
exec $HBASE_HOME/bin/hbase shell <<EOF
create 'test', {NAME => 't', VERSIONS => 1}
EOF
在hive-site.xml加上
<property>
<name>hive.aux.jars.path</name>
<value>file:///opt/modules/hive/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///opt/modules/hive/hive-0.9.0/lib/hbase-0.92.0.jar,file:///opt/modules/hive/hive-0.9.0/lib/zookeeper-3.4.3.jar</value>
...
开机启动普通用户脚本
- 博客分类：
- linux
1.把hadoop、starthadoop.sh stophadoop.sh 拷贝/opt/下面 (注starthadoop.sh stophadoop.sh 是开启、关闭hadoop 脚本，可以根据目录不同更改)
2.把hadoop拷贝/etc/rc.d/init.d/下面
3.chmod 755 /opt/starthadoop.sh stophadoop.sh /etc/rc.d/init.d/hadoop
4.chkconfig --add hadoop ← 将hadoop加入到chkconfig中
5.chkconfig hadoop on ← 将hadoop ...
转载
1. 表的设计
1.1 Pre-Creating Regions
默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。
有关预分区，详情参见：Table Creation: Pre-Creating Regions，下面是一个例子：
导入和导出在命令提示符中操作 不用进mysql 命令提示符 选择保存位置 例如 D:\ 然后把到处命令粘贴 输入保存名字 例如 stat.sql 回车 即可 也可以指定路径 //=============================================================== 导入导出数据库命令 导出mysqldump -u root -p --default-character-set=gbk DBNAME > all.sql 导入mysql -u root -p --default-character-set=gbk DBNAME < all.sq ...
spring mvc 3 上传文件
- 博客分类：
- spring
转载
spring mvc 支持web应用程序的文件上传功能，是由spring内置的即插即用的MultipartResolver来实现的，这些解析器都定义在org.springframework.web.multipart包里。下面将使用CommonsMultipartResolver解析器来实现简单的文件上传功能。
在web应用程序上下文配置文件中（我的配置文件名为 /WEB-INF/config/app-config.xml）定义如下：
<bean id="multipartResolver" class="org.springfram ...
windows 下通过端口号查找对应进程ID及其路径
- 博客分类：
- 其他
一、通过端口号找到对应进程
cmd命令行下输入：netstat -aon |findstr "3306"
二、通过对应进程找到对应路径
按下键，打开“运行”对话框，输入“WMIC”，回车，打开WMIC命令提示符窗口，系统会自动安装WMIC管理器。安装完成后，界面上将出现“Wmic:root\cli>”提示符，表明程序已在WMIC交互模式下工作。在命令提示符下输入“Process”，回车。可以看到每个进程的启动路径。
1、ORDER BY + LIMIT组合的索引优化。如果一个SQL语句形如：
SQL复制代码
SELECT [column1],[column2],.... FROM [TABLE] ORDER BY [sort
使用hive读取hbase数据
- 博客分类：
- hadoop
转载 http://blog.csdn.net/jiedushi/article/details/7325292
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类， 大致意思如图所示 ...
hadoop开启以root用户出错：
error: java.io.IOException: File /opt/data/hadoop/mapred/mrsystem/jobtracker.info could only be replicated to 0 nodes, instead of 1
解决方案：
permissions should be u rwx 0700 postgres
Postagresql 下面的data目录 权限 必须是 700重新赋权限
chmod 700 -R /opt/PostgreSQL/8.4/data/
OK
1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive --service cli
用于linux平台命令行查询，查询语句基本跟mysql查询语句类似
2， hive web界面的启动方式，hive --service hwi
用于通过浏览器来访问hive，感觉没多大用途
3， hive 远程服务 (端口号10000) 启动方式，./hive --service hiveserver >/dev/null 2>/dev/null &