085567
- 浏览: 220209 次
- 性别:
- 来自: 北京
-
最新评论
-
yugouai：
下载不了啊。。。
如何获取hive建表语句 -
help：
[root@hadoop-namenode 1 5 /usr/ ...
Sqoop -
085567：
lvshuding 写道请问，sqoop 安装时不用配置什么吗 ...
Sqoop -
085567：
lvshuding 写道请问，导入数据时，kv1.txt的文件 ...
hive与hbase整合 -
lvshuding：
请问，sqoop 安装时不用配置什么吗？
Sqoop
文章列表
cassandra的书籍，可以看看。
Bash中还可以使用数组变量,其赋值有两种:(1) name = (value1 ... valuen) 此时下标从0开始(2) name[index] = value数组下标的范围没有任何限制,同时也不必使用连续的分量.
$ A=(a b c def)==================================================$ echo ${A[@]} ...
本文介绍了linux下cron（任务计划）的常用使用方法。
linux crontab 的格式基本格式 :* * * * * command分 时 日 月 周 命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令crontab文件的一些例子：30 21 * * * /usr/local/etc/rc.d/lighttpd restart上面的例子表示每晚的21:30重启apache。45 4 1,10,22 * * /usr/local/etc/r ...
shell下读文件方式
- 博客分类：
- linux
翻译别人的东西:
第一种：
cat $FILENAME | while read LINEdo echo "$LINE" :done第二种：
while read LINEdo echo "$LINE" :done < $FILENAME第三种：
while line LINEdo echo $LINE :done < $FILENAME第四种：
cat $FILENAME | while LINE=`line`do echo ...
shell 交集、并集、差集
- 博客分类：
- linux
取两个文本的并、交、差集
并:sort -m <(sort file1 | uniq) <(sort file2 | uniq) | uniq交:sort -m <(sort file1 | uniq) <(sort file2 | uniq) | uniq -d差:sort -m <(sort file1 | uniq) <(sort file2 | uniq) <(sort file2 | uniq) | uniq -u
1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m
2.hive默认建表时的路径也可以在hive-site.xml里配置，如下: hive.metastore.warehouse.dir value >/user/hive/warehouse description >location of default database for the warehouse
3.执行join操作的时候，尽量把小表放前面，大表放前面可能会因为内存溢出而出错
4.对 ...
hive wiki：
http://wiki.apache.org/hadoop/Hive/LanguageManual
hive 优化：
http://www.chinacloud.cn/show.aspx?id=3277&cid=12
http://wiki.apache.org/hadoop/Hive/HiveClient3
http://www.fuzhijie.me/?tag=hive
http://www.tech126.com/category/hadoop-2/page/2/
Hive使用MySQL存放元数据 可以参考一下这篇文章 http://www.mazsoft.com/blog/post/2010/02/01/Setting-up-HadoopHive-to-use-MySQL-as-metastore.aspx 别忘了下载 MySQL 的JDBC驱动，推荐下载 mysql-connector-java-5.1.11.tar.gz Hive 与 JDBC 导入hive\lib下的所有jar包到IDE的classpath里面，还有hadoop中的 hadoop-0.20.2-core.jar包，即可运行下列代码：
package c ...
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上： * soft nofile 102400 * hard nofile 409600 $cd /etc/pam.d/ $sudo vi login 添加 sessio ...
一、Hive简介Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 hadoop 的 map/reduce 任务，通过执行这些任务完成数据处理。Hive 诞生于 facebook 的日志分析需求，面对海量的结构化数据， hive ...
环境准备需要环境：PC-1 Suse Linux 9 10.192.1.1PC-2 Suse Linux 9 10.192.1.2PC-3 Suse Linux 9 10.192.1.3PC-4 Suse Linux 9 10.192.1.4其中，PC-1做namenode节点，PC-2、PC-3和PC-4做datanode节点。并且已经安装成功Hadoop-0.20.1及以上版本。安装包准备需要安装包：zookeeper-3.2.1.tar.gz（stable版本）hbase-0.20.1.tar.gz（stable版本）安装步骤安装和配置ZooKeeperHBase从0.20.0开始 ...
在配置Hadoop和Hbase的过程中，虽然官方网站上有很多丰富的文档，但是常常仍然会有一些细枝末节的问题，成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项：
(1)修改节点主机名的问题在配置文件中使用机器主机名（如WAMDM1）作为通讯方式的时候，需要修改2个文件：/etc/hosts 以及 /etc/hostname
(2)修改Classpath的文件如果要修改Java默认Classpath，可以修改如下文件：/etc/environment ，修改完以后，需要重启生效
(3)配置Hbase开发项目时，如何导入Hbase的配置文件 hb ...
http://blog.sina.com.cn/s/blog_3c6ecea90100cn3s.html
【摘要】本文介绍了Linux proc文件系统的一些细节。首先介绍了proc文件系统的基本概念/存储位置/读取时机/加载方式，接着介绍了如何利用proc文件系统读取系统/内核中的各种信息以及进程相关的各种信息，分析了各个文件的作用 ...