这里总结一些检测hadoop是否正常启动的一些小技巧
1:查看hadoop的进程,利用java自带的jps
例如在master上执行后的输出
-
[dikar@dikar logs]$ jps
-
6652
Sancho
-
3813
-
9760
Jps
-
9629
SecondaryNameNode
-
9451
NameNode
-
[dikar@dikar logs]$
在slaves上执行的输出
-
[dikar@dikar121 data]$ jps
-
2210
Jps
-
2137
DataNode
-
[dikar@dikar121 data]$
2:检测监听端口是否启动,利用netstat
例如我需要检测54310是否开启并且有连接进来
-
[dikar@dikar logs]$ netstat -altnp | fgrep
54310
-
(Not all processes could be identified, non-owned process info
-
will not
be shown, you would have to be root to see it all.)
-
tcp 0
0
::ffff:
10.0
.
18.105
:
54310
:::* LISTEN
9451
/java
-
tcp 0
0
::ffff:
10.0
.
18.105
:
37804
::ffff:
10.0
.
18.105
:
54310
TIME_WAIT -
-
tcp 0
0
::ffff:
10.0
.
18.105
:
54310
::ffff:
10.0
.
18.121
:
40535
ESTABLISHED
9451
/java
-
tcp 0
0
::ffff:
10.0
.
18.105
:
54310
::ffff:
10.0
.
18.122
:
51895
ESTABLISHED
9451
/java
3:检测master 和slaves之间的端口访问控制
例如在slaves上telnet master的 54310端口 或者在 master上telnet slaves的 50010 端口
-
[dikar@dikar121 data]$ telnet
10.0
.
18.105
54310
-
Trying 10.0
.
18.105
...
-
Connected to 10.0
.
18.105
.
-
Escape character is
'^]'
.
-
^]
-
-
telnet> quit
-
Connection closed.
-
[dikar@dikar121 data]$
-
[dikar@dikar logs]$ telnet
10.0
.
18.122
50010
-
Trying 10.0
.
18.122
...
-
Connected to 10.0
.
18.122
.
-
Escape character is
'^]'
.
-
^]
-
-
telnet> quit
-
Connection closed.
-
[dikar@dikar logs]$
如果telnet可以通的话 会提示说:
-
Escape character
is
'^]'
.
然后输入 ctrl + ]进入telnet命令提示符 然后quit 就退出了。
更多信息请查看 java进阶网 http://www.javady.com
分享到:
相关推荐
8. **性能优化**:学习如何通过调整各种参数,如Split大小、Mapper和Reducer的数量,以及数据本地性等,来提升Hadoop应用的性能。 9. **Hadoop集群的部署和管理**:掌握在单机、伪分布式和完全分布式模式下安装和...
这个压缩包文件包含的"hadop实用案例"很可能是为了帮助初学者理解和应用Hadoop技术。以下是关于Hadoop的一些核心知识点,以及可能在这些实例中涉及的内容。 1. **Hadoop架构**:Hadoop主要由两个核心组件构成,HDFS...
7. **Hadoop优化**:包括硬件选择、数据分布策略、I/O优化、内存调优等方面的技巧,以提升Hadoop集群的性能和效率。 8. **Hadoop安全**:讨论了Hadoop的安全性问题,包括认证、授权和审计,以及如何通过Kerberos等...
阅读Hadoop源代码有助于理解其内部工作原理,从而优化自己的分布式应用程序。你可以学习错误处理机制、并发控制、网络通信等编程技巧。同时,通过设置断点和使用调试工具,你可以深入到代码执行的每个步骤,提升...
- **API**: 提供了丰富的Java API,允许开发者使用Java编程语言来开发Hadoop应用程序。 **3.6 数据流** - **数据读写**: 描述了如何在Hadoop中读取和写入数据。 **3.7 通过distcp进行并行复制** - **数据复制**:...
- **应用程序提交流程**:说明如何向YARN提交应用程序,包括ApplicationMaster的选举、资源申请、任务调度等步骤。 - **资源调度策略**:探讨YARN中的不同资源调度算法,如CapacityScheduler、FairScheduler等的特点...
此外,HDFS还支持流式数据访问,允许应用程序在数据尚未完全写入完毕的情况下就开始读取数据,这对于实时数据处理场景尤为重要。 #### 容错机制 HDFS具有强大的容错能力,它能够自动检测和处理数据节点的故障。当...
通过对HDFS和MapReduce的深入了解,我们可以更好地设计和优化基于Hadoop的应用程序,以应对日益增长的数据处理需求。在未来的发展中,Hadoop将会继续发挥重要作用,成为大数据处理领域的关键技术之一。
YARN调优是一个系统工程,需要综合考虑硬件配置、集群规模和应用程序需求等多个方面。下面将依次介绍各个步骤: 1. **工作主机配置**:确保每台工作主机上的配置能够支持YARN的需求。 2. **工作主机规划**:合理...
它支持在分布式集群上运行应用程序,具有高可靠性、高扩展性和高效性能。Hadoop的核心包括HDFS和MapReduce,后者用于分布式计算。 2. HDFS设计理念:HDFS设计的目标是为了处理大规模的数据集,它遵循“一次写入,多...
1. **电商应用**:许多电商平台通过小程序提供购物服务,方便用户浏览商品、下单支付等操作。 2. **生活服务**:餐饮预订、外卖配送、打车出行等生活服务类小程序受到广泛欢迎。 3. **娱乐休闲**:小游戏、阅读平台...
了解并掌握这些MapReduce的关键概念和实践技巧,对于理解和开发Hadoop上的大数据处理应用至关重要。此外,Hadoop Streaming和Pipes等工具让开发者可以用Python、Shell脚本或C++等非Java语言编写MapReduce应用,极大...
在实际应用中,除了上述基本方法,还可能涉及到深度学习模型的运用,如使用CNN(Convolutional Neural Network)进行端到端的人脸检测和定位,这种方法通常能取得更好的效果,但需要大量的标注数据和较高的计算资源...
- **冲突检测**:在放置皇后时判断是否有冲突发生,包括同一行、同一列、对角线上的冲突。 #### 二、停车场管理系统 **知识点:** - **队列**:模拟车辆到达与离开的顺序,先进先出(FIFO)原则。 - **动态数组**:...
Apache ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定的系统提供...
1. **云原生**:云原生是一种构建和运行应用程序的方法,它充分利用云计算的优势,如弹性、可扩展性和自动化。Docker的安装是云原生开发中的基础步骤,它提供了一个轻量级的容器化平台,使得应用可以独立于操作系统...
微服务架构将大型应用程序拆分为小型、独立的服务,每个服务都有自己的业务逻辑和数据存储。Spring Cloud和Docker等技术可以帮助实现和部署微服务。 七、容错与故障恢复 1. 服务冗余:通过复制服务实例,确保在单点...
7. **Hadoop与Spark框架**:Hadoop是开源的大数据处理框架,包括HDFS(分布式文件系统)和MapReduce。Spark则提供了更高效的内存计算,适合实时和迭代计算。 8. **分布式数据库和NoSQL**:如MongoDB、Cassandra等,...