- 浏览: 145380 次
- 性别:
- 来自: 哈尔滨
最新评论
-
yuesen0007:
厉害
MySQL逗号分割字段的行列转换技巧(转载) -
书音棋:
107x 写道 不错,谢谢!很早之前搞的,希望对你有用。
hive优化之------控制hive任务中的map数和reduce数 -
书音棋:
chwshuang 写道感觉哥们是做开发的,不是专门做测试的! ...
压力测试你应该知道的几个道理 -
chwshuang:
感觉哥们是做开发的,不是专门做测试的!因为我也深有体会!不知道 ...
压力测试你应该知道的几个道理 -
107x:
不错,谢谢!
hive优化之------控制hive任务中的map数和reduce数
9.2.1. hbase.regionserver.blockCacheCount
内存中的Block cache item数量。这个是存储文件(HFiles)的缓存中的数量。
9.2.2. hbase.regionserver.blockCacheFree
内存中的Block cache memory 剩余 (单位 bytes).
9.2.3. hbase.regionserver.blockCacheHitRatio
Block cache 命中率(0 到 100). TODO: 描述当cacheBlocks=false时对这个值得影响
9.2.4. hbase.regionserver.blockCacheSize
内存中的Block cache 大小 (单位 bytes)
9.2.5. hbase.regionserver.compactionQueueSize
compaction队列的大小. 这个值是需要进行compaction的region数目
9.2.6. hbase.regionserver.fsReadLatency_avg_time
文件系统延迟 (ms). 这个值是平均读HDFS的延迟时间
9.2.7. hbase.regionserver.fsReadLatency_num_ops
TODO
9.2.8. hbase.regionserver.fsSyncLatency_avg_time
文件系统同步延迟(ms)
9.2.9. hbase.regionserver.fsSyncLatency_num_ops
TODO
9.2.10. hbase.regionserver.fsWriteLatency_avg_time
文件系统写延迟(ms)
9.2.11. hbase.regionserver.fsWriteLatency_num_ops
TODO
9.2.12. hbase.regionserver.memstoreSizeMB
所有的RegionServer的memstore大小 (MB)
9.2.13. hbase.regionserver.regions
RegionServer服务的regions数量
9.2.14. hbase.regionserver.requests
读写请求的全部数量。请求是指RegionServer的RPC数量,因此一次Get一个情况,一个带缓存的Scan也是一个请求。一个批量load是一个Hfile一个请求。
9.2.15. hbase.regionserver.storeFileIndexSizeMB
当前RegionServer的storefile索引的总大小(MB)
9.2.16. hbase.regionserver.stores
RegionServer打开的stores数量。一个stores对应一个column family。例如,一个表有3个region在这个RegionServer上,对应一个 column family就会有3个store.
9.2.17. hbase.regionserver.storeFiles
RegionServer打开的存储文件(HFile)数量。这个值一定大于等于store的数量。
dfs.datanode.blockChecksumOp_avg_time 块校验平均时间
dfs.datanode.blockChecksumOp_num_ops 块检验次数
dfs.datanode.blockReports_avg_time 块报告平均时间
dfs.datanode.blockReports_num_ops 块报告次数
dfs.datanode.block_verification_failures 块验证失败次数
dfs.datanode.blocks_read 从硬盘读块总次数
dfs.datanode.blocks_removed 删除块数目
dfs.datanode.blocks_replicated 块复制总次数
dfs.datanode.blocks_verified 块验证总次数
dfs.datanode.blocks_written 向硬盘写块总次数
dfs.datanode.bytes_read 读出总字节包含crc验证文件字节数
dfs.datanode.bytes_written 写入总字节数(在写入每个packet时计数)
dfs.datanode.copyBlockOp_avg_time 复制块平均时间 (单位ms)
dfs.datanode.copyBlockOp_num_ops 复制块次数
dfs.datanode.heartBeats_avg_time 向namenode汇报平均时间
dfs.datanode.heartBeats_num_ops 向namenode汇报总次数
dfs.datanode.readBlockOp_avg_time 读块平均时间(单位ms)
dfs.datanode.readBlockOp_num_ops 读块总次数 一般和dfs.datanode.blocks_read 一致,先从硬盘读入输入流,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.reads_from_local_client 从本地读入块次数
dfs.datanode.reads_from_remote_client 从远程读入块次数
dfs.datanode.replaceBlockOp_avg_time 替换块平均时间(负载均衡策略)
dfs.datanode.replaceBlockOp_num_ops 替换块次数(负载均衡策略)
dfs.datanode.volumeFailures notfound 和block拥有的volume 失败有关
dfs.datanode.writeBlockOp_avg_time 写块平均时间
dfs.datanode.writeBlockOp_num_ops 写块总次数一般和dfs.datanode.blocks_written 一致,先从硬盘,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.writes_from_local_client 写本地次数
dfs.datanode.writes_from_remote_client 写远程次数
jvm.metrics.gcCount gc总次数
jvm.metrics.gcTimeMillis gc总耗时(ms)
jvm.metrics.logError jvm error 次数
jvm.metrics.logFatal jvm出现fatal次数
jvm.metrics.logInfo jvm info出现次数
jvm.metrics.logWarn jvm warn出现次数
jvm.metrics.maxMemoryM jvm试图使用最大内存(M),如果没有限制返回Long.MAX_VALUE
jvm.metrics.memHeapCommittedM jvm提交堆内存大小
jvm.metrics.memHeapUsedM jvm使用堆内存大小
jvm.metrics.memNonHeapCommittedM jvm非堆内存已提交大小
jvm.metrics.memNonHeapUsedM jvm非堆内存已使用大小
jvm.metrics.threadsBlocked 正在阻塞等待监视器锁的线程数目
jvm.metrics.threadsNew 尚未启动的线程数目
jvm.metrics.threadsRunnable 正在执行状态的线程数目
jvm.metrics.threadsTerminated 已退出线程数目
jvm.metrics.threadsTimedWaiting 等待另一个线程执行取决于指定等待时间的操作的线程数目
jvm.metrics.threadsWaiting 无限期地等待另一个线程来执行某一特定操作的线程数目
rpc.metrics.NumOpenConnections number of open connections rpc连接打开的数目
rpc.metrics.ReceivedBytes number of bytes received rpc收到的字节数
rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间
rpc.metrics.RpcProcessingTime_num_ops rpc在最近的交互中连接数目
rpc.metrics.RpcQueueTime_avg_time The Average RPC Operation Queued Time in the last interval rpc在最近的交互中平均等待时间
rpc.metrics.RpcQueueTime_num_ops 在CDH3B4中未找到该属性。本人理解为rpc在最近的交互中等待操作数目
rpc.metrics.SentBytes number of bytes sent rpc发送的数据字节
rpc.metrics.callQueueLen length of the rpc queue rpc 队列长度
rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 验证失败次数
rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 验证成功数
rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授权失败次数
rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次数
mapred.shuffleInput.shuffle_failed_fetches 从map输出中取数据过程中获取失败次数
mapred.shuffleInput.shuffle_fetchers_busy_percent 在获取map输出过程中并行获取线程忙碌占总并行获取线程百分比
mapred.shuffleInput.shuffle_input_bytes shuffle过程中读入数据字节
mapred.shuffleInput.shuffle_success_fetches 从map输出中取数据过程中获取成功次数
mapred.shuffleOutput.shuffle_failed_outputs 向reduce发送map输出失败次数
mapred.shuffleOutput.shuffle_handler_busy_percent 向reduce发送map输出中server线程忙碌占总工作线程(在tasktracker.http.threads中配置)百分比。
mapred.shuffleOutput.shuffle_output_bytes shuffle过程中输出数据字节
mapred.shuffleOutput.shuffle_success_outputs 向reduce成功
mapred.tasktracker.mapTaskSlots 设置map槽数
mapred.tasktracker.maps_running 正在运行的map数
mapred.tasktracker.reduceTaskSlots 设置reduce槽数
mapred.tasktracker.reduces_running 正在运行的reduce数
mapred.tasktracker.tasks_completed 完成任务数
mapred.tasktracker.tasks_failed_ping 因tasktracker与task交互失败导致的失败的task数目
mapred.tasktracker.tasks_failed_timeout 因task未在mapred.task.timeout配置的(默认10分钟)时间内汇报进度而超时kill的task数目
rpc.detailed-metrics.canCommit_avg_time rpc询问是否提交任务平均时间
rpc.detailed-metrics.canCommit_num_ops rpc询问是否提交任务次数
rpc.detailed-metrics.commitPending_avg_time rpc报告任务提交完成,但是该提交仍然处于pending状态的平均时间
rpc.detailed-metrics.commitPending_num_ops rpc报告任务提交完成,但是该提交仍然处于pending状态的次数
rpc.detailed-metrics.done_avg_time rpc报告任务成功完成的平均时间
rpc.detailed-metrics.done_num_ops rpc报告任务成功完成的次数
rpc.detailed-metrics.fatalError_avg_time rpc报告任务出现fatalerror的平均时间
rpc.detailed-metrics.fatalError_num_ops rpc报告任务出现fatalerror的次数
rpc.detailed-metrics.getBlockInfo_avg_time 从指定datanode获取block的平均时间
rpc.detailed-metrics.getBlockInfo_num_ops 从指定datanode获取block的次数
rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce获取已经完成的map输出地址事件的平均时间
rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce获取已经完成的map输出地址事件的次数
rpc.detailed-metrics.getProtocolVersion_avg_time 获取rpc协议版本信息的平均时间
rpc.detailed-metrics.getProtocolVersion_num_ops 获取rpc协议版本信息的次数
rpc.detailed-metrics.getTask_avg_time 当子进程启动后,获取jvmtask的平均时间
rpc.detailed-metrics.getTask_num_ops 当子进程启动后,获取jvmtask的次数
rpc.detailed-metrics.ping_avg_time 子进程周期性的检测父进程是否还存活的平均时间
rpc.detailed-metrics.ping_num_ops 子进程周期性的检测父进程是否还存活的次数
rpc.detailed-metrics.recoverBlock_avg_time 为指定的block开始恢复标记生成的平均时间
rpc.detailed-metrics.recoverBlock_num_ops 为指定的block开始恢复标记生成的次数
rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父进程报告任务错误消息的平均时间,该操作应尽可能少,这些消息会在jobtracker中保存
rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父进程报告任务错误消息的次数
rpc.detailed-metrics.startBlockRecovery_avg_time 开始恢复block的平均时间
rpc.detailed-metrics.startBlockRecovery_num_ops 开始恢复block的次数
rpc.detailed-metrics.statusUpdate_avg_time 汇报子进程进度给父进程的平均时间
rpc.detailed-metrics.statusUpdate_num_ops 汇报子进程进度给父进程的次数
rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标记及长度的平均操作时间
rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标记及长度的次数
发表评论
-
压力测试你应该知道的几个道理
2016-03-11 12:03 270021.从压力测试说 ... -
压力测试你应该知道的几个道理
2016-02-25 17:41 371.从压力测试说起 压 ... -
MySQL逗号分割字段的行列转换技巧(转载)
2013-07-24 19:10 28533前言: 由于很多业务表因为历史原因或者性能原因,都 ... -
MongoDB shell命令行的使用
2013-03-26 17:21 1188首先要启动MongoDB shell工具,即bin下的mo ... -
HBase Merging Regions
2013-03-09 09:45 2145我承认我之前不知道hbase还能做merge region操 ... -
datanode或者tasktracker crash
2013-03-04 19:29 1098有的时候, datanode或者tasktracker c ... -
Tomcat线程池设置
2012-12-24 15:57 1665在Tomcat6下可以更改配置,为Tomcat更改线程池实现: ... -
Tomcat 的三种(bio,nio.apr) 高级 Connector 运行模式
2012-12-21 17:01 928tomcat的运行模式有3种.修改他们的运行模式.3种模 ... -
安装m2eclipse插件 (转载)
2012-12-19 14:22 10051. 安装m2eclipse插件 要用Eclips ... -
mysql定时器
2012-10-18 11:35 1816ALTER EVENT `testEvent` ON S ... -
Command模式(命令)
2012-09-14 10:01 1239Command模式(命令) Java深入到一 ... -
hive导出查询结果到本地文件
2012-08-15 15:00 7316最近在使用hive时,需要将hive查询的数据导出到本地文件系 ... -
hive 调优(转)
2012-08-15 14:27 1186优化时,把hive sql当做map reduce程序来 ... -
使用hive读取hbase数据
2012-08-15 10:25 5071Mapr框架安装完后,安装与配置hbase、hive。其 ... -
hive的Specified key was too long; max key length is 767 bytes问题解决
2012-08-14 15:08 4363当在hive中show table 时如果报以下错时 ... -
M2_REPO介绍
2012-08-13 22:32 1162M2_REPO是一个用来定义 maven 2仓库在硬盘中 ... -
hadoop优化
2012-08-13 22:16 966从三个方面着手优化 :1. hadoop配置2. 设计mapr ... -
大数据量处理(转载)
2012-08-10 15:23 15721. 给定a、b两个文件,各存放50亿个url,每个url各占 ... -
hbase连接java(转载)
2012-07-20 16:43 12291、需要的jar包: commons-codec-1. ... -
js url传参 中文乱码
2012-07-13 15:41 2536在项目中经常回存在通过JS去请求操作的事件发生,而这些请 ...
相关推荐
最后,我们可以通过监控工具(如Ambari或Ganglia)观察Hadoop和HBase的运行状态,以及Snappy压缩效果,以便进一步优化性能。同时,持续关注Hadoop和HBase的新版本发布,适时进行升级以获取最新的功能和性能改进。 ...
【Hadoop与HBase部署文档】 Hadoop是一个开源的分布式计算框架,主要由Apache基金会维护。它被设计成能够处理和存储大量数据,是大数据处理领域的重要工具。Hadoop的核心组件包括HDFS(Hadoop Distributed File ...
Ganglia、Hadoop和HBase都是大数据领域的重要组件,而Nagios则是一种广泛使用的系统监控工具。这篇博文链接提供的资源聚焦于如何将这些技术结合使用,并进行有效的监控。 Ganglia是一个分布式监控系统,能够收集并...
一淘搜索系统是基于Hadoop和HBase构建的大型分布式搜索和存储解决方案,主要用于处理海量的电子商务数据。这个系统架构包括以下几个关键组成部分: 1. **一淘搜索系统架构**: 一淘搜索系统主要由抓取系统、存储...
4. **监控与调优**:使用HBase自带的监控工具或第三方工具(如Ganglia、Prometheus)监控系统性能,根据监控结果调整参数。 5. **数据压缩**:启用数据压缩可以减少存储空间,同时降低网络传输量,提高性能。HBase...
Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。...支持通过Hadoop指标子系统将指标导出到文件或Ganglia;或通过JMX
在大数据处理领域,Hadoop、Zookeeper、HBase和Spark是四个至关重要的组件。它们各自承担着不同的职责,共同构建了一个高效、可扩展的数据处理生态系统。以下是对这些组件的详细解释以及如何配置和管理它们的集群。 ...
- **HBase**:基于Hadoop的分布式列式数据库,支持实时查询。 - **Oozie**:工作流调度系统,管理Hadoop作业和协调其他Hadoop相关的工具。 6. **监控与维护** - **Ambari**:一个Web界面,用于Hadoop集群的安装...
为了配置HBase把指标信息输出到Ganglia,需要设置$HBASE_HOME/conf/目录下的hadoop-metrics.properties文件中的参数。 结论: 监控HBase集群对于确保系统的高可用性和性能非常重要。通过使用Java代码实现HBase集群...
在集群监控部分,介绍了HBase如何利用Ganglia、JMX、Nagios等工具进行性能监控和故障检测。同时,提供了运维人员日常管理所需的一系列任务列表,包括数据导入导出、日志级别调整、问题排查等,以确保HBase集群的稳定...
8. **Hadoop生态环境**:Hadoop并不只是单一的工具,它还有一系列生态系统组件,如HBase(分布式数据库)、Pig(数据分析工具)、Spark(快速大数据处理框架)、Hive(SQL-like查询工具)等,它们共同构建了强大的大...
该平台由多个组件组成,包括Hadoop、HBase、Pig、Hive、Zookeeper、Ganglia、Chukwa等。 二、Hadoop云计算平台组件介绍 1. Hadoop:Hadoop是Apache软件基金会旗下的开源分布式计算框架,主要用于存储和处理大规模...
HBase 是一个基于 Hadoop 的分布式数据库,中国电信使用 HBase 建立了一个独立的 HDFS 集群,包括 322 个主机,32 个 CPU 核心,256GB 内存,3.6TB 的磁盘存储空间。整个系统由 6 个 HBase 集群组成,每个集群都有...
- **软件资源**:Java运行环境(JRE)、Hadoop(包括HDFS和MapReduce)、HBase本身、Zookeeper。 - **网络资源**:所有节点之间需要有良好的网络通信,以保证数据同步和心跳检测。 5. **部署步骤**: - 安装并...
课时6:使用Ganglia监控HBase 课时7:过滤器实战之比较过滤器 课时8:过滤器实战之专用过滤器与FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协...
2. Hadoop的Metrics2系统,可以集成Ganglia、Graphite等工具进行性能监控。 3. JMX接口,可以利用JConsole、VisualVM等工具查看和调整HBase的运行参数。 总结,HBase参数修改是确保系统高效稳定运行的关键步骤,...
- HBase的监控和调优,包括JMX、HBase Metrics、Ganglia和Ambari的使用 - HBase的故障恢复和高可用性方案 - 使用HBase Shell进行基本操作和高级功能,如扫描器设置 - HBase与其他大数据组件(如Spark、Hive、Phoenix...
10. **监控和运维**:HBase提供了丰富的监控指标,如JMX接口、Metrics2等,可以与监控系统如Ganglia、Graphite、Prometheus等集成,进行实时性能监控和告警。 总的来说,“Hbase-GUI-1.2.3.zip”可能是为了提供一个...
- **监控与管理工具**:Hadoop提供了多种工具来监控和管理集群的状态,如Hadoop自带的Web界面、Ganglia、Nagios等。 #### 六、性能调优与最佳实践 - **性能调优**:通过对Hadoop集群的各项参数进行调整,以及优化...