`
zlx19900228
  • 浏览: 51585 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hbase Client端分析

阅读更多
原创文章,请各位多多指导,有错误希望各位能及时告诉我,感激不尽~
1. 不管客户端官方实现是采用processBatchOfRows,还是processBatchOfDeletes这种批量添加,删除,最终插入,删除的核心还是还是getRegionServerWithRetries方法,批量添加,删除还是
a) 批量操作:
1. 生产Map<HServerAddress, MultiAction>,拿到传入的row list,即worklist,这里的rowlist就是缓存中的操作,然后通过row,定位regionlocation,然后得到HserverAddress,然后一个address与multiaction关联,multiaction是一批操作的集合,即put,get,delete 的集合。这个关联操作是在集合中进行的,也就是是说会向multiaction中添加action,action是用regionName,row,originalIndex三个参数构造的,我们知道,put,get,delete都实现了row接口,这样,我们就将serveraddress以及针对这个serveraddress有哪些操作关联了起来。
2. 接下来构造Map<HServerAddress,Future<MultiResponse>>对象,接下来遍历Map<HServerAddress, MultiAction>对象,调用:
futures.put(e.getKey(), pool.submit(createCallable(e.getKey(), e.getValue(), tableName)));方法,这样就会启用线程池去批量执行callable任务,这里的callable任务就是针对每个key -> serveraddress拿到multiaction去执行,然后返回future调用结果。而这里的createCallable方法,就会调用我所说的核心方法getRegionServerWithRetries。
3. 拿到返回的result,根据result的结果,如果为null,那么就放入worklist中,准备重试,返回的也可能是exception,那么就拿到这些exception,然后放入exception list中,接下来判断if (!exceptions.isEmpty()),那么就throw new RetriesExhaustedWithDetailsException,将异常包装之后,抛出。
所以,批量处理无非是启用线程池,将action提交到worklist中,由多个线程去处理,每个线程处理的任务是其实是multiple的,即他的一个任务中,又包含了多个put,get,delete任务,一个线程处理的就是一个serveraddress对应的一批任务。这里的serveraddress是由locateRegion(tableName, row.getRow(), true)确定的,而这个函数就是上面所诉的:Hbase理由代码分析中的核心函数。
1
3
分享到:
评论

相关推荐

    计算机图形学之动画和模拟算法:粒子系统在自然现象模拟中的应用.docx

    计算机图形学之动画和模拟算法:粒子系统在自然现象模拟中的应用.docx

    基于matlab的注水算法源码.zip

    OFDM和MIMO系统模型下的功率分配

    高校校园跑腿系统的设计app.zip

    基于安卓的毕业设计源码

    SAP 各模块常用BAPI

    SAP 各模块常用BAPI 简单例子

    revit族文件,参数化承台

    revit族文件,参数化承台

    PEP8 风格指南,PYTHON基础

    python PEP8 风格指南,PYTHON基础

    Python基础,Python进阶读物

    python Python基础,Python进阶读物

    HarmonyOS 工程目录结构PDF

    内容概要:本文档详细介绍了鸿蒙系统的ArkTS工程目录结构(Stage模型)。整个工程结构从顶层分为资源配置与源码存放两大方面。资源文件包括字符串、颜色、多媒体等JSON格式定义文件及支持常见图片与音视频格式的实际媒体文件,同时提供了多个JSON5配置文件来设置应用的整体配置与特定模块的功能选项。另外,有专设目录放置应用和服务的主体部分,包含入口点及页面等关键元素,还涵盖了模拟对象配置与多级别的构建任务脚本,旨在为开发者提供一个灵活而强大的项目框架。 适合人群:适合熟悉或者正在学习鸿蒙系统应用程序开发的技术爱好者,尤其是初级至中级软件工程师。 使用场景及目标:帮助初学者理解和搭建鸿蒙OS下的应用程序基础架构;指导开发者合理规划和管理大型项目的各个组成部分,提高开发效率和可维护性;使技术人员掌握正确的资源管理和配置方法,优化应用性能。 阅读建议:在阅读时应重点关注各目录的作用及其相互之间的关系,对于特定的文件格式(如JSON5配置文件)建议深入了解其语法特点和配置选项。实际操作中,可以通过创建简单的示例项目来进行实践,加深理解。

    【上交所-2024研报】立昂微2024年第三季度报告.pdf

    行业研究报告、行业调查报告、研报

    基于Python实现的一个简单高效的车道线检测模型源代码+使用说明

    基于Python实现的一个简单高效的车道线检测模型源代码+使用说明 项目简介 本项目构建了一个简单高效车道线检测模型,尽量以可以接受的精度损失为代价换取更高的计算效率。 模型结构 对图像中车道线可能存在的区域(图像的下部)进行网格划分,将车道线检测问题转化为每行车道线所在网格的分类问题。将图像中车道线所在区域划分为 12 行,每行划分为 80 个网格,模型需要学习如何根据输入图像正确地对每行中车道线的位置进行分类,找出最有可能存在该车道线的网格,模型共能检测图像中左侧两条和右侧两条车道线。

    【光伏预测】基于粒子群优化算法PSO优化高斯过程回归GPR实现光伏多输入单输出预测附Matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    chrome react调试工具

    chrome react调试工具

    jdk-8u401-linux-x64.tar

    jdk-8u401-linux-x64.tar,经典的jdk8对应的linux安装包,包含安装说明

    计算机图形学之动画和模拟算法:Rigid Body Dynamics:高级刚体模拟算法.docx

    计算机图形学之动画和模拟算法:Rigid Body Dynamics:高级刚体模拟算法.docx

    湖南省各市、县区及街镇SVG图

    湖南省各市、县区及街镇SVG图

    基于Flexsim的DVD装配仿真系统.zip

    基于Flexsim软件开发的仿真系统,可供参考学习使用

    weixin293基于微信小程序的校园自助打印系统+springboot后端毕业源码案例设计.zip

    weixin293基于微信小程序的校园自助打印系统+springboot后端毕业源码案例设计 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。

    DevOps业务价值流之需求设计

    模板

    【创新未发表】Matlab实现三角测量拓扑聚合优化器TTAO-GRU实现风电数据预测算法研究.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    20241106001001

    20241106001001

Global site tag (gtag.js) - Google Analytics