Unable to load native-hadoop library
warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
1.
# ll /lib64/libc.so.6 //查看当前系统glibc版本
$ export HADOOP_ROOT_LOGGER=DEBUG,console
hadoop fs -ls /
此事会输出debug信息,看到warning找出hadoop需要的glibc版本
2.下载对应版本的glibc安装
下载地址,找到对应版本的glibc
http://ftp.gnu.org/gnu/glibc/
[root@node1 ~]# export CFLAGS="-g -O2"
[root@node1 ~]# ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
[root@node1 ~]# make
[root@node1 ~]# make install
此事再尝试hadoop命令,一句没有报错了
[hadoop@node1 hadoop-2.7.0]$ bin/hadoop fs -ls /
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2015-05-21 09:12 /home
找到简便方法:
wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.7.0.tar
解压到 hadoop-2.7.0/lib/native/
相关推荐
1. **本地库编译**:由于官方发行版中的本地库为32位,需要在所有节点上编译64位本地库,然后替换到`<HADOOP_HOME>/lib/native/`下的文件。 2. **下载Hadoop发布包**:从Apache官方网站下载Hadoop 2.2.0版本,解压至...
这里192.168.1.126这个是指Master机器IP地址,当然可以使用Ubuntu1主机名,条件是DNS能够解析,否则会有问题,datanode连接namenode时会报连接不上的错误。所以实际应用中根据Master机器的IP来更改吧,最好使用IP...
- **完全分布式模式**:在多台机器上部署Hadoop,需要更多配置,包括主机名解析、Hadoop配置文件的分发等。 ### 五、解决安装警告 在安装过程中可能出现警告,通常是由于版本不匹配导致的。一种常见的警告是关于...
`hadoop.native.lib`设置为`false`表示不使用本机Hadoop库。 在`hdfs-site.xml`中,`dfs.replication`通常用于设置副本因子,但这里没有显示。通常,对于单机模式,副本因子应设置为1,因为没有其他节点复制数据。`...
- `core-site.xml`: 定义临时目录(`hadoop.tmp.dir`)和默认文件系统(`fs.default.name`),以及是否加载本地库(`hadoop.native.lib`)。 - `mapred-site.xml`: 配置JobTracker地址(`mapred.job.tracker`)、系统目录...
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native" ``` - **core-site.xml**:配置Hadoop文件系统的默认FS和临时目录: ```xml <name>fs.defaultFS <value>hdfs://...
解决方法是检查库的版本(32位或64位)是否与系统兼容,并确保正确的glibc版本。使用`file <native-so-file>`命令检查库的详细信息。 3. **DNS解析问题**:如果遇到IP地址反向解析为localhost的问题,可能是因为DNS...
#### 三、Hadoop 2.6.4的安装与配置 **1. 源码安装Hadoop** - **安装依赖工具**: - `apt-get install ant` - `apt-get install maven` - `apt-get install automake libtool make cmake gcc python` - `apt-get ...
- **本地VLAN**:Trunk端口有一个本地VLAN(Native VLAN),它是默认的VLAN,用于传输未标记的数据帧。通常,本地VLAN不会被标记。 - **灵活性**:Trunk端口的灵活性使其非常适合用于连接不同的交换机或连接到支持...