`
weigang.gao
  • 浏览: 491170 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

hadoop在linux系统下的集群时间同步

 
阅读更多

参考:http://www.cnblogs.com/pipelone/archive/2009/06/17/1505002.html

yum安装于卸载软件常见命令:http://blog.csdn.net/kandyer/article/details/7941302

时区设置:http://blog.csdn.net/gtlions/article/details/7542932

 

说明1:

①yum install ntp    

ntp是一个服务,安装ntp服务

②yum install ntpdate

ntpdate是一个命令,安装ntpdate命令,用于时间同步的命令

 

说明2:

使用yum安装与卸载软件

①使用yum安装ntp服务

yum install ntp

②卸载使用yum安装的软件

yum remove ntp

 

说明:由于hadoop集群对时间要求很高,所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。

注:很多内容是在网上摘录,然后试验后总结,如有疑问可留言探讨。

1.设置主机时间准确(任意机器都可)。//如果不需要同步网络时间则可以省略这一步

1.1查看本机时间和时区(date)

1.2设置时区(tzselect ;选择后执行cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime)(这里是redhat的修改时区,ubuntu较简单,命令网上查找)

1.3修改时间(date -s 00:00:00或者网络同步:apt-get install ntpdate ; ntpdate cn.pool.ntp.org)

1.4写入硬盘时间(hwclock -w)

这样主机时间设置完毕。


 

2.时间同步(主机)

配置主机环境(yum install ntp  )(用centos做主机,设置参考ubuntu时间同步)

•vi /etc/ntp.conf

在后面加上

server 127.127.1.0  

Fudge 127.127.1.0 stratum 10

•关闭防火墙: #service iptables stop

•重新启动服务:

service ntpd stop(ubuntu是service ntp stop)

service ntpd start

这样主机准备完毕。

3.其他机器同步

•等待大概五分钟,再到其他机上同步该机器时间(先确保时区一样,否则同步以后时间也是有时区差的)

ntpdate IP地址(主机的)

Date查看时间是否同步完成。

4.根据需要,这里可以让分机器定时自动同步时间

4.1.yum install crontabs(atp-get)

4.2.crontab -e 编辑内容: * */12 * * * /usr/sbin/ntpdate 172.72.103.228(每12个小时更新一次,也可特定时间更新一次,格式可网上查找)

4.3保存退出即可,可以到/var/spool/mail/下查看记录

 

可能遇到的问题:no server suitable for synchronization found

参考:http://www.blogjava.net/spray/archive/2008/07/10/213964.html

  • 大小: 12.7 KB
分享到:
评论

相关推荐

    Hadoop3.0分布式集群搭建(HA)详细文档.docx

    在搭建 Hadoop 3.0 分布式集群之前,需要先准备好 3 台主机,分别安装好 Linux 系统,并完成 Linux系统的网络配置和系统配置。主机规划中需要注意的是,从 Hadoop 3.0 开始支持更多的 Namenode,因为我们只有 3 台...

    Hadoop环境下各个节点时间同步方法

    因此,本文将详细讲解在Hadoop环境下如何使用NTP(网络时间协议)来实现各个节点间的时间同步。 首先,我们需要设置一个NTP服务器作为参考时间源。这通常是在集群中的一个稳定节点上完成,比如NameNode。在这个例子中...

    linux(centos 6.5)hadoop集群搭建。

    在Linux(CentOS 6.5)环境下搭建Hadoop集群是一项技术性较强的工作,涉及到多个步骤和组件的配置。Hadoop是Apache软件基金会的一个开源分布式计算框架,它允许在廉价硬件上处理大规模数据集,提供了高可靠性、高扩展...

    Hadoop 2.6.5在CentOS6.8版本下的集群部署

    在本文中,我们将详细探讨如何在CentOS 6.8环境下部署Hadoop 2.6.5集群。Hadoop是一个开源分布式计算框架,主要用于处理和存储海量数据。它由两个主要组件构成:HDFS(Hadoop Distributed File System)和MapReduce...

    hadoop完全分布式集群搭建笔记

    - 安装NTP服务确保集群时间同步。 **5. 防火墙配置** - 关闭不必要的防火墙规则,确保Hadoop组件间通信畅通。 #### 四、JDK安装与配置 **1. JDK安装** - 下载JDK安装包并安装。 - 示例命令:`./jdk-6u21-linux-...

    Centos7+hadoop2.6.0分布式集群搭建

    配置NTP集群时间同步(所有节点) 在分布式系统中,节点间的时间同步至关重要,以避免由于时间差异导致的数据不一致问题。在所有节点上配置NTP服务,选择可靠的NTP服务器进行时间同步。这里推荐使用阿里云的NTP...

    Hadoop2.6.5在CentOS6.8版本下的集群部署

    在部署集群之前,还需进行时钟同步,因为集群中的所有节点都必须保持时间上的统一,以便于维护数据的一致性和正确性。推荐使用NTP(Network Time Protocol)服务来完成时钟同步。 在进行环境准备和节点配置之后,接...

    CentOS Linux中搭建Hadoop和Spark集群详解.docx

    在CentOS 7环境下搭建Hadoop集群,首先需要规划集群的架构,包括确定Namenode、SecondaryNamenode、Datanode、ResourceManager和NodeManager等节点的角色分配。Namenode是HDFS的主节点,负责元数据管理;...

    大数据时代:高性能Hadoop集群与应用案例

    1. **环境准备**:选择合适的操作系统(如Linux),并确保所有节点的时间同步(通常使用NTP服务)。 2. **安装Java环境**:Hadoop依赖于Java运行,因此需要在所有节点上安装JDK。 3. **SSH无密码登录设置**:为了...

    Linux运维-Hadoop集群之ambari实践-21-环境准备-4(时间同步-firewalld-se).mp4

    Linux运维-Hadoop集群之ambari实践-21-环境准备-4(时间同步-firewalld-se).mp4

    hadoop 单机安装和集群安装总结

    - 在进行集群安装之前,需要确保所有节点的基础环境配置正确,包括时间同步、网络配置等。 ##### 2. SSH免密码登录配置 - 使用`ssh-keygen`在Master节点生成公钥私钥对。 - 将公钥复制到所有从节点,可以通过`ssh-...

    大数据环境中Hadoop集群部署与配置

    内容概要:本文档详细介绍了如何在Linux环境下配置和部署Hadoop集群。内容涵盖了连接比赛节点、修改主机名和配置、关闭防火墙、配置时间同步、安装JDK和Hadoop、配置Hadoop环境变量、格式化NameNode、启动Hadoop集群...

    熟悉常用的Linux操作和Hadoop操作.docx

    本实验旨在帮助学生熟练掌握Linux操作系统中的常用命令,并初步了解如何在Linux环境下安装和配置Hadoop集群,为后续进行云计算与大数据处理打下坚实的基础。 ##### 实验环境 本次实验使用的操作系统为CentOS 6.5。...

    Hadoop_HDFS系统双机热备方案.pdf

    在展开有关Hadoop HDFS系统双机热备方案的知识点前,首先需要了解双机热备的基本概念,HDFS的基本架构以及如何搭建Hadoop集群。在这些基础之上,才能更深入地理解双机热备方案的设计理念及其实施步骤。 双机热备,...

    基于Linux平台下的Hadoop和Spark集群搭建研究.docx

    ### 基于Linux平台下的Hadoop和Spark集群搭建研究 #### 1. Hadoop和Spark的简介 ##### 1.1 Hadoop的特点及MapReduce的运行过程 **Hadoop的特点** Hadoop是一个开放源代码的分布式计算平台,主要用于处理大规模...

    vmware虚拟机下hadoop集群安装过程.pdf

    随着大数据时代的到来,Hadoop因其强大的分布式处理能力,被广泛视为下一个Linux级别的操作系统。对于学习和研究Hadoop,搭建一个小型的Hadoop集群是很有帮助的,而使用VMware虚拟机可以方便地在个人电脑上实现这一...

    Hadoop操作手册

    - 基础环境搭建包括Linux系统的安装与配置(如vm虚拟机安装、时间同步、网络环境设置等)。 - 机器时间同步与网络环境配置是保证分布式系统中各节点时间一致性和数据通信的基础。 - 安装JDK,生成登录密钥,创建...

    HADOOP&ZK&HBASE&YCSB集群搭建验证

    2. 时间同步:需要同步所有服务器的时间,以确保所有节点上的时间是一致的。 3. 配置主机名:需要配置每个服务器的主机名,以便于节点之间的通信。 4. 关闭防火墙:需要关闭所有服务器的防火墙,以便于节点之间的...

    hadoop2.x集群搭建(1.0).txt

    - **时间同步**:所有服务器的时间应保持一致,可通过NTP服务实现时间同步。 ##### 2.2 IP地址与主机名映射 - 在每台服务器上的`/etc/hosts`文件中添加所有服务器的IP地址与主机名的映射关系,确保名称解析正常。 -...

Global site tag (gtag.js) - Google Analytics