`
侯上校
  • 浏览: 223388 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

路由Region过程

 
阅读更多
client路由到正确HRegionServer
在HBase中,大部分操作都是在HRegionServer完成的。
HResionServer:就是管理要操作的Region。client并不知道HRegionServer管理哪个Region。
-ROOT-和.META.:是HBase的两张内置表。 从存储结构和操作方法角度来说,和其它HBase表无区别。只是存重要系统信息——Region的分布情况及每个Region的详细信息。

Tbl非常大,划分成很多的Region——.META.有很多条Row来记录Region。 当region非常多导致.META非常也划分成多个,就有可能多个HRegionServer管理.META.
所以引入-ROOT-来记录.META.的Region信息。

管理-ROOT-表的HRegionServer地址存在ZK中,-ROOT-不会太多。

优缺点:
优:1.列可动态增加,并且列为空就不存储数据,节省存储空间
    2.HBase自动切分数据
    3.HBase可以提供高并发读写操作的支持
缺点
    1.不支持条件查询,只支持按row key来查询
    2.暂不支持Master Server的故障切换,当Master宕机,整个系统就挂掉

Region虽然是分布式存储最小单元,但不是存储最小单元,Region=一个或多个Store组成(对应一个/多个列簇; hdfs系统中则对应着一个目录)。 Store=MemStore + StoreFile(0至多个StoreFile组成)

ZK:
1.保证任何时候,集群只有一个Maser
2.存储所有Region的寻址入口
3.监控RegionServer状态,将RS上/下线实时通知Master
Master:
a.为RS分配region
2.负责RS的负载均衡
3.发现失败RS并重分配其上的region
4.处理schema更新请求
RS:
1.RS维护Master分配给它的Region,处理对这些region IO请求
2.负责切分运行过程中变得过大的region

WAL:是HBase的HRegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。
    HRegionServer上所有Region共享Hlog文件
为什么不每个TBL对应一个Hlog? 原因HRegionServer个数可以衡量分布式系统规模, 一个大表(10亿),上百节点。而TBL大小完全由应用层来决定。
缺点:给系统带来性能影响



 
  • 大小: 39.7 KB
分享到:
评论

相关推荐

    Python库 | rescape-region-0.1.23.tar.gz

    7. **网络分析**:支持路由计算、服务范围分析,适用于交通规划和物流优化。 8. **遥感处理**:可能包括对卫星图像或航拍照片的处理,如图像分类、特征提取等。 9. **API集成**:可能允许与Google Maps、Open...

    网络仿真中基于IP的分层路由策略研究

    接着,文章还提出了区域划分(Region Partition,RP)、基于区域划分的路由计算(Routing Computation Based on Region Division,RCBRD)和路由分发(Routing Distribution,RD)算法。这些算法联合实施网络区域...

    hbase regions数据切割.docx

    切割时,HBase会创建新的Region副本,然后更新Meta表信息,最后将客户端的请求路由到新的Region。整个过程需要保证数据的一致性和完整性,因此必须谨慎操作。 总结来说,HBase Region的数据切割是优化系统性能的...

    Laravel开发-ghregionsdistrict

    在这个项目中,可能有路由定义用于获取所有地区、特定地区的详细信息,或者允许用户搜索地区。 ```php // 在 routes/web.php 文件中 Route::get('/regions', 'RegionController@index'); // 显示所有地区 Route::...

    H3CIE-RS+ A图详细排错步骤!!

    在以上排障过程中,务必使用命令行界面(CLI)进行检查和配置,如`display stp`、`dis link-agg verbose`、`dis vrrp`等,及时识别并修复问题。同时,注意使用debug命令收集更详细的错误信息,例如`debugging ppp ...

    MSTP协议简介

    在协议交互过程中,MSTP协议将使用BPDU(Bridge Protocol Data Unit)报文来交换信息,实现网络中的路由选择和拓扑管理。 MSTP协议的优点包括: * 高可扩展性:MSTP协议可以在大型网络中应用,实现网络的分层管理...

    WPF视图切换Demo

    对于大型应用,可能会采用某种路由或导航架构,例如Prism框架提供的Region导航。这种架构允许在不关心具体视图实现的情况下,声明性地定义视图之间的关系和切换行为。 9. **状态管理和路由参数** 在某些情况下,...

    Vitess-Docs-8.0-10-27-2020.pdf

    Region Vindex是特定于地区分片的Vindex,它可以将数据路由到相应的地理区域分片。 - **Start the Cluster**:启动Vitess集群涉及创建和配置各个组件,如VTGate(客户端接口)、VTTablet(每个MySQL实例的代理)和...

    动态无线传感网中低延迟高可靠的数据查询机制.pdf

    为了延长网络寿命,数据查询机制应尽量减少通信和计算能耗,比如采用节能的路由算法,或者在数据集中和转发过程中采用能量均衡策略。 最后,安全性和隐私保护也不能忽视。在查询过程中,需要防止非法节点干扰数据...

    HCIE LAB考试配置简版

    路由汇总是将多个子网合并为一个更长前缀的过程,有助于减少路由表大小。 **2.8.1 题目需求** - 配置RIP路由汇总。 - 减少路由表条目数量。 **2.8.2 配置命令** - 配置路由汇总:`summary-address ip-prefix` ---...

    H3CNE-SDN_gb0-451 .doc

    * 云计算发展过程遇到虚拟机规模受到网络规格限制、虚拟化业务的网络隔离/分离能力限制、虚拟机迁移范围受到网络架构限制等问题与挑战 八、EVPN * EVPN 通过 2 类路由通告 MAC/IP 等信息 * EVPN 的 vxlan 隧道通过...

    AVAYA SES 通过SIP中继连接第三方设备配置方法 .doc

    接下来,需要配置IP网络映射(ip-network-map),定义不同的network-region,例如,将IP话机、AVAYA S8300和G450以及EasyMeeting Express分配到各自的region,以确保语音编码的一致性。这有助于优化音质并避免通信...

    H3C_MSTP基础配置案例

    本案例展示了如何在H3C网络设备上实施MSTP,确保了VLAN间的正确路由,同时利用MSTP特性避免环路并实现链路冗余。配置过程涉及创建MST域、分配VLAN到MST实例、设置主根和备根以及配置边缘端口,通过验证确认了配置的...

    Laravel开发-amazon-payment

    'region' => env('AMAZON_PAY_REGION'), // 例如:'us-east-1' 'sandbox' => env('AMAZON_PAY_SANDBOX', true), // 是否使用沙箱环境 ], ``` 然后,在 `.env` 文件中填充相应的环境变量值。 为了处理支付流程,...

    云海IaaS开放API设计思路-v0.811

    IP地址,尤其是公网IP,是云服务对外通信的关键,而CIDR(无类别域间路由选择)则是更高效的IP地址分配方式,提高了IP地址的利用率。 调用云海IaaS开放API的方式是通过HTTP或HTTPS向API服务器发送请求,携带必要的...

    ensp mstp vrrp.docx

    3. 配置MSTP:例如,`stp region-configuration`,`instance 1 vlan 2`等。 4. 设置端口角色和启用STP:`port hybrid pvid vlan 2`,`stp enable`。 5. 配置VRRP:`vrrp vrid 1 virtual-ip 10.1.5.101`等。 6. 启用...

    zookeeper一站式学习资料

    视频讲解是学习过程中不可或缺的一部分,它可以通过直观的方式展示操作过程,加深理解和记忆。笔记和代码资源则提供了实践操作的机会,通过实际动手编写和运行代码,能更好地巩固理论知识,提升实战技能。 为了高效...

    HIS优雅不停机更新

    在HIS更新过程中,可以通过OpenResty将新旧版本的服务部署在不同的端口上,通过配置路由规则,实现请求的平滑切换。 2. **Spring Boot与Undertow集成**:Spring Boot是Java开发微服务的首选框架,而Undertow是轻量...

    二十四、高级网络技术及应用-MSTP+VRRP(MSTP配置)【基于华为ensp】

    - **选举过程**: 每个MSTP实例都会选举一个根桥,其他设备根据与根桥的距离确定其角色(根端口、指定端口、备份端口或边缘端口)。 - **状态迁移**: 端口会根据网络变化动态地在转发和阻塞状态之间切换,确保无...

Global site tag (gtag.js) - Google Analytics