`
kabike
  • 浏览: 606115 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

hadoop和hbase使用时要特别注意/etc/hosts文件

 
阅读更多
/etc/hosts文件对hbase有很重要的作用
比如在hbase的master启动的时候,需要在zookeeper里注册自己的hostname,master取得hostname的方法是
 String hostname = Strings.domainNamePointerToHostName(DNS.getDefaultHost(
      conf.get("hbase.master.dns.interface", "default"),
      conf.get("hbase.master.dns.nameserver", "default")));


DNS.getDefaultHost方法为
public static String getDefaultHost(String strInterface, String nameserver)
    throws UnknownHostException {
    if (strInterface.equals("default")) 
      return InetAddress.getLocalHost().getCanonicalHostName();

    if (nameserver != null && nameserver.equals("default"))
      return getDefaultHost(strInterface);

    String[] hosts = getHosts(strInterface, nameserver);
    return hosts[0];
  }


如果/etc/hosts文件中存在以下这样的条目,InetAddress.getLocalHost().getCanonicalHostName()就会返回localhost,那么zookeeper里的master的hostname就成了localhost,那么region server无论如何都不能访问master了
引用
127.0.0.1   localhost dev02


所以要写成
引用
  127.0.0.1   localhost
  192.168.1.2 dev02


这个问题应该也是同样的原因
0
0
分享到:
评论

相关推荐

    Hadoop(Hbase)的安装部署与配置实验

    - 编辑各虚拟机的`/etc/hosts`文件, 添加master、slave1、slave2的IP地址。 2. **SSH免密码登录** - 在每台虚拟机上执行`ssh-keygen`生成公钥和私钥。 - 安装`openssh-server`。 - 将master节点的公钥复制到...

    Hadoop+Hbase+Spark+Hive搭建

    我们将设置/etc/hosts文件,以便在主机之间进行通信。 2.4 开启ssh服务 我们将开启ssh服务,并设置为开机启动。 三、防火墙设置 3.1 查看防火墙状态 我们将查看防火墙的当前状态。 3.2 关闭防火墙 我们将关闭...

    hadoop hive hbase安装过程

    这里假设使用的 JDK 版本为 `jdk1.7.0_018` 和 `jdk1.6.0_25`,实际操作时应根据实际情况调整版本号。 ##### 2. 配置 hosts 文件 为了确保集群内部各节点之间的网络通信,需要正确配置 `/etc/hosts` 文件。例如:...

    hadoop+hbase+hive集群搭建

    通过编辑`/etc/sysconfig/network`和`/etc/hosts`文件,可以确保所有节点之间的通信畅通无阻。这里列出了master和多个slave节点的IP地址与主机名映射,这是实现节点间正确识别的关键。 ### 3. 用户与权限管理 为了...

    2.1 hadoop+hbase部署和测试1

    在构建大数据处理平台时,Hadoop 和 HBase 是两个至关重要的组件。Hadoop 是一个开源的分布式计算框架,它提供了高可靠性和高容错性的数据存储和处理能力。而 HBase 是基于 Hadoop 的一个分布式、列式存储的数据库,...

    hadoop2.2 hbase0.96.2 hive 0.13.1整合部署

    2. **主机名和IP映射**:为每台服务器设置独特的主机名,更新`/etc/hosts`文件,确保IP和主机名的对应关系正确。 3. **创建用户**:创建专门的用户,如'hadoop',并将其加入sudoers列表,便于管理Hadoop服务。 4. **...

    hadoop+hbase集群安装

    - **配置host**:编辑`/etc/hosts`文件,添加各节点的IP地址与主机名映射。 - **JAVA_HOME配置**:在`.bash_profile`文件中添加JAVA_HOME环境变量。 - **SSH无密码登录配置**:生成SSH密钥并在各节点间授权,实现无...

    hadoop和hbase分布式配置及整合eclipse开发.pdf

    3. **配置项目**: 创建新的Hadoop或HBase项目,并配置好项目的类路径和库文件。 4. **编写代码**: 根据需求编写MapReduce作业或HBase客户端应用等。 5. **编译与运行**: 在Eclipse中编译项目,并通过Hadoop或HBase...

    基于centos7的hadoop、hbase集安装群部署.zip

    4. **配置Hadoop和HBase**:在playbook中,需要创建模板文件(如`hadoop.conf`和`hbase-site.xml`),定义Hadoop和HBase的相关配置。比如,设置HDFS的目录、HBase的Zookeeper地址等。 5. **执行Ansible Playbook**...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    2. **主机名配置**:设置每台服务器的主机名,并在 `/etc/hosts` 文件中添加相应的映射关系。 3. **SSH免密码登录**:在所有节点之间配置SSH免密码登录。 4. **主机配置**: - 修改 `hadoop-env.sh` 文件,指定JDK...

    HadoopHbaseZookeeper集群配置

    3. **Hosts映射**:在所有节点上编辑`/etc/hosts`文件,添加其他节点的IP和主机名映射,以确保节点间通信的准确无误。 4. **JDK安装**:Hadoop集群依赖JDK环境,因此首先需要在所有节点上安装和配置相同的JDK版本。...

    CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解

    - 在三台服务器的`/etc/hosts`文件中添加主机名映射。 - 示例: ``` # Donotremove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost....

    hadoop2.2.0+Hbase0.96+hive0.12详细配置

    在大数据处理领域,Hadoop、HBase和Hive是三个非常重要的组件,它们共同构建了一个高效、可扩展的数据存储和分析平台。本文将详细介绍如何在Linux环境下搭建Hadoop2.2.0、HBase0.96和Hive0.12的集群环境。 首先,...

    在windows上安装Hbase

    2. 在cygwin的/etc/hosts文件中添加127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6。 五、测试HBase 1. 启动Hadoop,使用bin/start-all.sh命令。 2. 启动HBase,使用bin/...

    虚拟机环境下Hadoop2.7.1+HBase1.3.5安装配置手册 .docx

    - 在 `/etc/hosts` 文件中添加以下内容: ``` 192.168.79.128 hbase01 192.168.79.132 hbase02 192.168.79.135 hbase03 ``` - 计划中,`hbase01` 作为主服务器,`hbase02` 和 `hbase03` 作为从服务器。 #### ...

Global site tag (gtag.js) - Google Analytics