beat_it_
- 浏览: 64283 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
REHL系统安装完毕后，默认启动桌面版，如果想关闭桌面程序，只启动命令行系统，
执行以下操作：
vi /etc/inittab
把：
id:5:initdefault:
改为：
id:3:initdefault:
报存后，重启即可。
hive 进入客户段后，能够创建database，但是进行show databases;时出错：
Failed with exception java.io.IOException:java.io.IOException: Cannot create an instance of InputFormat class org.apache.hadoop.mapred.TextInputFormat as specified in mapredWork!
原因：缺少hadoop-lzo-*.jar
解决方法：把hadoop-lzo-*.jar拷贝到$HIVE_HOME/lib/ 目录下 ...
- 2016-04-12 15:28
- 浏览 940
- 评论(0)
RHEL6虚拟机克隆网络问题解决方法
文章转载于：http://www.2cto.com/os/201305/215678.html
环境：Virtualbox+RHEL 6 x64
用VirtualBox的vboxmanager克隆的虚拟机，操作系统RHEL6，启动后发现网卡不能用了。重启网络服务，报以下错误:
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization. [FAILED]
在RHEL5里也发生类似事情，因为复制虚拟机MAC会重新 ...
求大神解惑：
spark1.6版本操作hdfs报错：
在spark-shell里：
val file = sc.textFile("hdfs://master138:9000/sparktest/README.md")
val spc = file.filter(line => line.contains("Spark"))
当运行spc.count 或者 spc.saveAsTextFile("hdfs://master138:9000/sparktest/1") 时报错
当我把hadoop/etc/hadoo ...
新搭建的集群进行hdfs格式化时报错，错误信息如下：
hdfs namenode -format
Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode
原因一：
查看hadoop-xxx所属用户组是否正确，可使用 chown -R x:x hadoop-xxx 进行更改所属。
例：chown -R root:root hadoop-2.6.3
原因二：
查询集群环境变量，删除无效的环境变量配置信息。
我的机器因为之前安装过集群。/etc/pr ...
使用CHD版本HIVE：hive-1.1.0-cdh5.4.8.tar.gz
在HIVE_HOME/bin目录 使用 ./hive启动HIVE报错，错误如下：
Logging initialized using configuration in jar:file:/home/hadoop/hive-1.1.0-cdh5.4.8/lib/hive-common-1.1.0-cdh5.4.8.jar!/hive-log4j.properties
Exception in thread "main" java.lang.RuntimeException: java.lang ...
Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下：
java.io.IOException: No LZO codec found, cannot run.
hiveserver2日志报错如下：
Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationE ...
使用Hive进行count(*)查询时报错，错误信息如下：
chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-10000': Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwxrw ...
用eclipse远程提交mr到hadoop集群后，mr卡住后一直不执行，在控制台查日志发现错误如下：
org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 0time(s).org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 1time(s).org.apache.hadoop.ipc.Client: Retrying connect to server ...
在集群上执行mr(操作hbase)任务报错
- 博客分类：
- hadoop
通过eclipse 插件远程提交mr(有操作hbase)任务到集群执行没有问题，
打成jar包在集群上执行报错，错误如下：
15/04/19 00:20:40 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch hbase:meta table: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: class com.google.protobuf.HBas ...
通过eclipse 远程提交mr(处理文件到hbase)到hadoop集群报错：
错误信息如下：
2015-04-19 11:31:46,800 WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2015-04-19 11:31:47,753 INFO org.apache.hadoop.conf.Configuration.deprecat ...
软件下载地址记录：
hadoop2.2：
http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
hbase0.96.2：
http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz
chd:
http://archive.cloudera.com/cdh5/cdh/5/
从http://blog.csdn.net/yanzi1225627/article/details/26950615摘了 篇文章，具体如下：
利用Java针对MySql封装的jdbc框架类 JdbcUtils 完整实现(包含增删改查、JavaBean反射原理，附源码)
jdbcmysql反射javabean
最近看老罗的视频，跟着完成了利用Java操作MySql数据库的一个框架类JdbcUtils.java,完成对数据库的增删改查。其中查询这块，包括普通的查询和利用反射完成的查询，主要包括以下几个函数接口:
1、public Connection getConnect ...
写了个简单的mr 操作file到hfile,在把hfile倒入hbase的例子，在此记录一下：
File2HFile2HBase.java代码：
package com.lyq.study.example;
import java.io.IOException;
import java.security.PrivilegedAction;
import java.util.Arrays;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import o ...
从http://www.blogjava.net/sterning/archive/2007/10/15/152940.html摘了篇java socket thread 的文章：
服务端：
package com.lyq.socket.server;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java. ...