`
baoliangquan
  • 浏览: 8145 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

hadoop 主机是64位机器,而native库默认是32位的问题

 
阅读更多

 

Unable to load native-hadoop library

 

warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

 

1.

# ll /lib64/libc.so.6    //查看当前系统glibc版本

$ export HADOOP_ROOT_LOGGER=DEBUG,console

hadoop fs -ls /

此事会输出debug信息,看到warning找出hadoop需要的glibc版本

 

2.下载对应版本的glibc安装

下载地址,找到对应版本的glibc

http://ftp.gnu.org/gnu/glibc/

 

[root@node1 ~]# export CFLAGS="-g -O2"

[root@node1 ~]# ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

[root@node1 ~]# make

[root@node1 ~]# make install

 

此事再尝试hadoop命令,一句没有报错了

[hadoop@node1 hadoop-2.7.0]$ bin/hadoop fs -ls /

Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2015-05-21 09:12 /home 

 

找到简便方法:

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.7.0.tar

解压到 hadoop-2.7.0/lib/native/

分享到:
评论

相关推荐

    Hadoop2.4.1集群模式的安装与配置

    1. **本地库编译**:由于官方发行版中的本地库为32位,需要在所有节点上编译64位本地库,然后替换到`<HADOOP_HOME>/lib/native/`下的文件。 2. **下载Hadoop发布包**:从Apache官方网站下载Hadoop 2.2.0版本,解压至...

    hadoop-0.20.2安装手册

    这里192.168.1.126这个是指Master机器IP地址,当然可以使用Ubuntu1主机名,条件是DNS能够解析,否则会有问题,datanode连接namenode时会报连接不上的错误。所以实际应用中根据Master机器的IP来更改吧,最好使用IP...

    ubuntu14.04下Hadoop2.7.2安装.pdf

    - **完全分布式模式**:在多台机器上部署Hadoop,需要更多配置,包括主机名解析、Hadoop配置文件的分发等。 ### 五、解决安装警告 在安装过程中可能出现警告,通常是由于版本不匹配导致的。一种常见的警告是关于...

    单机_hadoop安装.docx

    `hadoop.native.lib`设置为`false`表示不使用本机Hadoop库。 在`hdfs-site.xml`中,`dfs.replication`通常用于设置副本因子,但这里没有显示。通常,对于单机模式,副本因子应设置为1,因为没有其他节点复制数据。`...

    hadoop单机版

    - `core-site.xml`: 定义临时目录(`hadoop.tmp.dir`)和默认文件系统(`fs.default.name`),以及是否加载本地库(`hadoop.native.lib`)。 - `mapred-site.xml`: 配置JobTracker地址(`mapred.job.tracker`)、系统目录...

    hadoop2.4.1伪分布式搭建

    export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native" ``` - **core-site.xml**:配置Hadoop文件系统的默认FS和临时目录: ```xml <name>fs.defaultFS <value>hdfs://...

    hadoopq集群搭建.pdf

    解决方法是检查库的版本(32位或64位)是否与系统兼容,并确保正确的glibc版本。使用`file <native-so-file>`命令检查库的详细信息。 3. **DNS解析问题**:如果遇到IP地址反向解析为localhost的问题,可能是因为DNS...

    spark 集群环境开发部署(hadoop,yarn,zookeeper,alluxio,idea开发环境)

    #### 三、Hadoop 2.6.4的安装与配置 **1. 源码安装Hadoop** - **安装依赖工具**: - `apt-get install ant` - `apt-get install maven` - `apt-get install automake libtool make cmake gcc python` - `apt-get ...

    华为网络技术大赛模拟题答案和解析

    - **本地VLAN**:Trunk端口有一个本地VLAN(Native VLAN),它是默认的VLAN,用于传输未标记的数据帧。通常,本地VLAN不会被标记。 - **灵活性**:Trunk端口的灵活性使其非常适合用于连接不同的交换机或连接到支持...

Global site tag (gtag.js) - Google Analytics