慢在哪里:写Redis 写HBase 线程切换等
优化思路:无法提高Redis和HBase的写入速度,那么就减少写入量吧;减少写入量的办法:1,减少冗余写入,2,延长缓存时间。减少线程切换,尽量批量提交。
1,减少冗余数据写入:
目前的逻辑:缓存一分钟的数据然后定时刷入Redis或者HBase。问题是:各台机器会缓存相同的商品,导致同一个商品在一分钟内被写入了多次。
机器越多,冗余越大,不能横向扩展。所以需要减少接收数据的机器数量,同时将数据按照指定维度路由到相同的机器处理。
2,延长缓存时间:
如果解决了1中的问题,那么每台机器在一定时间内的写入量变成了可控。这时为了保护存储,可以延长缓存时间来减少写入量。
3,减少线程切换:
数据采集器和数据处理器切换为类似Disruptor的无所队列,批量提交数据给一个线程。(这个可选,短板应该在1和2)
方案:图略
在当前的架构下,增加数据路由器模块,按照指定的维度类似一致性hash的办法将数据路由到指定数据处理器。
具体想了一个简单的方案,回头和大家一起讨论一下,看看有没有更好办法:
相关推荐
综上所述,这个压缩包提供了一整套关于使用JavaMail开发邮件收发系统的资源,从理论到实践,从设计到实现,再到最终的答辩准备,对于学习和开发此类系统的人来说,是一份非常宝贵的参考资料。通过深入学习和实践这些...
《J2EE架构师手册》这本书可能详细阐述了这些技术的原理、实践方法以及最佳实践,对于想要成为或已经是J2EE架构师的人来说,是一份不可多得的参考资料。通过阅读和学习这本书,读者可以提升对J2EE体系的理解,更好地...
"主干.jpg"可能是一份描绘了校园网络主干拓扑的图表,包括路由器、交换机、线路和连接方式等。设计时,需要考虑流量分布、冗余路径、带宽需求以及未来扩展的可能性。同时,网络主干的物理安全和电磁干扰防护也是不容...
《基于ASP的反垃圾邮件管理系统的设计》是一份深入探讨如何构建高效、实用的反垃圾邮件系统的资源包。这个系统的设计采用ASP(Active Server Pages)技术,这是一种微软开发的服务器端脚本环境,常用于创建动态网页...
《基于Python的邮件分类系统设计与实现》这篇本科毕业论文主要探讨了如何利用Python语言构建一个有效的邮件分类系统。该系统旨在自动将大量的...对于想要了解或从事相关领域工作的读者,这是一份非常有价值的参考资料。
本文将深入探讨“一种架构检修平台”的设计与实现,结合提供的行业文档,我们将从以下几个关键知识点进行阐述: 1. **架构检修的重要性**: 在现代信息技术环境中,软件系统的复杂度日益增加,架构检修平台可以...
通过这个项目,不仅可以掌握JSP技术,还能深入理解BS架构的原理和实践,对于学习Java Web开发以及进行毕业设计的学生来说,是一份宝贵的参考资料。提供的源代码则可作为实际操作的实例,帮助开发者加深理解和实践...
在IT行业中,简历是求职者展示自己技能、经验和成就的重要工具,特别是在高级架构师这个职位上,一份高质量的简历能够显著提升获得面试机会的概率。"58套高级架构简历模板.zip"提供了一组专为高级架构师设计的简历...
该项目不仅包含了源代码,还有一份详细的项目报告,为学习者提供了一个完整的实践案例。 首先,ASP.NET是微软开发的一款用于构建Web应用程序的框架,它基于.NET Framework,提供了丰富的服务器控件、内置的安全性、...
本文档是关于基于Java的邮件系统的一份毕业论文设计说明书,详细探讨了如何利用Java技术构建一个Web邮件系统。该系统旨在提供一个便捷、高效且可移植的邮件服务解决方案。 在第一章绪论中,论文首先介绍了电子邮件...
本文档是一份基于Java的邮件系统毕业设计说明书,主要涵盖了电子邮件系统的基本概念、发展历程、工作原理,以及如何利用JavaMail API和Web技术构建一个邮件系统。设计过程中涉及了需求分析、系统架构、开发工具选择...
《基于Javamail的邮件收发系统》项目是一份全面涵盖了从系统开发到学术研究的资源集合,其中包含了系统程序、学术论文、开题报告、任务书、外文文献翻译、文献综述以及答辩演示PPT等重要资料。这个项目主要关注的是...
在描述中提到的“源代码论文”,意味着这个压缩包不仅包含了实现该项目的源代码,还可能包括一份详细的论文或文档,该文档可能涵盖了系统的设计思路、技术选型、架构解析、功能实现步骤以及可能遇到的问题和解决方案...
“魔法兔子”提供的源代码对于C#初学者或.NET开发者而言,是一份珍贵的学习资料。通过阅读源代码,可以学习到如何使用.NET Framework进行系统层面的操作,如调用Windows API,处理系统事件,以及如何设计用户友好的...
这份名为"亿级流量网站架构核心技术.zip"的压缩包包含了一份详细的PDF文档,探讨了处理大规模用户访问的关键技术。以下是对这些核心知识点的详细阐述: 1. 分布式系统:亿级流量意味着单台服务器无法承受所有请求,...
这个压缩包提供了一个完整的毕业设计流程实例,对于学习.NET开发,尤其是邮件系统设计的学生来说,是一份宝贵的资料。通过学习和实践,学生不仅可以掌握.NET技术,还能了解到软件工程的完整生命周期,包括需求分析、...
《基于ASP的反垃圾邮件管理系统的设计》是一份深入探讨如何利用ASP技术构建高效、可靠的反垃圾邮件系统的学术研究。此设计适用于毕业设计和课程设计,提供了完整的源代码,旨在帮助学习者理解和实践Web应用程序开发...
《NET邮件收发系统设计与实现》是一份深入探讨电子邮件系统的综合资料,包含了从理论到实践的完整过程。这份资源包括论文、源代码、开题报告、外文文献翻译、文献综述以及答辩PPT,为学习和研究.NET平台上的邮件系统...
《AnyBackup邮件备份恢复最佳实践》是一份详细阐述如何高效、安全地进行电子邮件备份与恢复的解决方案文档。本文档适用于那些寻求优化邮件系统保护策略,确保业务连续性和数据安全性的IT专业人士。 首先,文档介绍...