duguyiren3476
- 浏览: 466287 次
- 性别:
- 来自: 北京
-
最新评论
-
zhangyou1010：
zhangyou1010 写道请教，我执行mount -t n ...
NFS挂载hdfs到本地 -
zhangyou1010：
请教，我执行mount -t nfs -o vers=3,pr ...
NFS挂载hdfs到本地 -
hengfengyiyingdong：
为什么我查出来的hbase数据都是base64编码的？ 我保存 ...
apache drill 0.8.0 单机/分布式安装测试 -
107x：
不错，谢谢！
Hive metastore三种存储方式 -
duguyiren3476：
确实不怎么快，httpfs的上传你可以理解为普通的httpup ...
hadoop2.5.2配置httpfs服务
文章列表
主机配置内存不足，导致在yarn上运行job异常，下面是spark运行在yarn上的一个异常：
17/05/03 17:58:02 ERROR client.TransportClient: Failed to send RPC 7785784597803174149 to /172.26.159.91:56630: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
17/05/03 17:58:02 WARN netty.NettyRpcEndpointRef: Erro ...
43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiSUkiLCJwYWlkVXBUbyI6IjIwMTctMDItMjUifSx7ImNvZ ...
tensorflow 安装过程总结：
1.mac 按照官网的
# Mac OS X
$ sudo easy_install pip
$ sudo easy_install --upgrade six
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/tensorflow-0.9.0rc0-py2-none-any.whl
出现如下错误：
Collecting setuptools (from protobuf==3.0.0b2->tensorflow==0.9.0rc0) ...
drill1.0配置hive storage plugin及测试
drill,hive
截止到目前本博客发布前，apache drill最新发布版本是1.0.0，对与此版本的数据源支持和文件格式的支持：
avro
parquet
tez ui 安装测试
标签（空格分隔）： 未分类
环境：hadoop-2.7.1，tez-0.7.0，tomcat 7
将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中
修改tez-ui的war解压后的文件scripts/configs.js文件
App.setConfigs({
/* Environment configurations */
envDefaults: {
version: "0.7.0",
/*
* By default TEZ UI looks for timeline server ...
tez自己编译0.7 版本,为了测试hadoop2.7.1 是否运行顺畅,
编译:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
编译过程一直到tez-ui模块异常编译不通过:bower ESUDO Cannot be run with sudo,需要编辑tez-ui中的pom.xml文件,添加红色部分
<arguments> <argument>node_modules/bower/bin/bower</argument> ...
pig on tez测试
pig tez hadoop hdfs
测试环境
pig-0.14.0
hadoop-2.5.2 ()1+2)
hive on tez 测试后,很好奇,pig是否可以在tez上运行呢?从官网上可以看到pig on tez的描述,就想应该是可以pig on tez的.
pig安装过程略过…
hive 小记
hive hadoop hdfs
测试环境
centos6.5 64bit
hadoop-2.5.2
hive-0.14
udf引入第三方lib包
将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量:
测试环境
centos6.5 64bit
ambari-2.0.1
作用
ambari安装hadoop时默认是从官网在线下载安装包,安装包要3Gb左右大小,在线安装屡屡请求超时而失败,况且正式环境中hadoop集群主机多数是不能链接外网的,因此,配置一个本地数据源是多么的迫切和明智的,下面参考本地数据配置过程.ambari安装过程略过.
安装ambari
参考地址:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.0.1+from+Public+Reposit
hive on tez详细配置和运行测试
tez hadoop hive hdfs
hadoop2.5.2配置httpfs服务
httpfs hadoop hdfs
测试环境
ubuntu 14.04 单机
hadoop2.5.2 伪分布式
jdk1.7
作用
通过HttpFs你可以在浏览器里面管理HDFS上的文件，功能同hadoop shell相似
HttpFs还提供了一套REST 风格的API可以用来管理HDFS
缺点
ubuntu安装NFS及测试
测试环境
ubuntu 14.04 单机
安装nfs-kernel-server
NFS挂载hdfs到本地
nfs hdfs nfs hdfs
hdfs挂载： hdfs是分布式系统，要想访问hdfs上的文件，可以用java api 或者hadoop shell等工具，如果想操作hdfs文件系统就像操作本地文件系统一样的便捷，可以将hdfs文件系统挂载到本地的一个目录上，那么挂载的方式有两种：
fuse 挂载：需要另外安装fuse工具，详细请参考： http://duguyiren3476.iteye.com/blog/2054506
nfs挂载：apache hadoop2.x以后的版本中自带了一个nfs3的插件服务，下面将详细讲解nfs挂 ...
apache drill 0.8.0 安装测试
apache drill0.8.0 drill 0.8.0 单机模式 分布式
环境 apache-drill-0.8.0 apache-hadoop-2.5.2 jdk1.7 写在前面 看到社区发表的文章显示,apache drill 在PB级数据面前在数秒内即可查询返回结果,这个测试报告很吸引人,但是没有描述用了多少个节点有点遗憾,drill的强大引用一段描述:
大数据面临的一个很大的问题是大多数分析查询都很缓慢且非交互式。Google的Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报告显示，Dre ...
测试hbase预设分区
phonex-4.3 hbase-0.98.10
环境 hbase-0.98.10,hadoop-2.5.2 预设分区使用hbase为了在写入阶段避免个别节点过热,通过数据的分布图,在创建表的时候预设表的分区:
create 'test_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}
设置hbase-site.xml