`
xylong
  • 浏览: 191258 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

转一份阐述如何从架构上优化的邮件

阅读更多

慢在哪里:写Redis HBase 线程切换等

优化思路:无法提高RedisHBase的写入速度,那么就减少写入量吧;减少写入量的办法:1,减少冗余写入,2,延长缓存时间。减少线程切换,尽量批量提交。

 

1,减少冗余数据写入:

目前的逻辑:缓存一分钟的数据然后定时刷入Redis或者HBase。问题是:各台机器会缓存相同的商品,导致同一个商品在一分钟内被写入了多次。

机器越多,冗余越大,不能横向扩展。所以需要减少接收数据的机器数量,同时将数据按照指定维度路由到相同的机器处理。

 

2,延长缓存时间:

如果解决了1中的问题,那么每台机器在一定时间内的写入量变成了可控。这时为了保护存储,可以延长缓存时间来减少写入量。

 

3,减少线程切换:

数据采集器和数据处理器切换为类似Disruptor的无所队列,批量提交数据给一个线程。(这个可选,短板应该在12

 

方案:图略

 

 

在当前的架构下,增加数据路由器模块,按照指定的维度类似一致性hash的办法将数据路由到指定数据处理器。

具体想了一个简单的方案,回头和大家一起讨论一下,看看有没有更好办法:

 

 

 

分享到:
评论

相关推荐

    基于Javamail的邮件收发系统(系统+文档+开题报告+任务书+外文翻译+文献综述+答辩PPT).zip

    综上所述,这个压缩包提供了一整套关于使用JavaMail开发邮件收发系统的资源,从理论到实践,从设计到实现,再到最终的答辩准备,对于学习和开发此类系统的人来说,是一份非常宝贵的参考资料。通过深入学习和实践这些...

    J2EE架构师手册,架构师必备手册

    《J2EE架构师手册》这本书可能详细阐述了这些技术的原理、实践方法以及最佳实践,对于想要成为或已经是J2EE架构师的人来说,是一份不可多得的参考资料。通过阅读和学习这本书,读者可以提升对J2EE体系的理解,更好地...

    网络架构课程设计,某中学校园网设计文档全

    "主干.jpg"可能是一份描绘了校园网络主干拓扑的图表,包括路由器、交换机、线路和连接方式等。设计时,需要考虑流量分布、冗余路径、带宽需求以及未来扩展的可能性。同时,网络主干的物理安全和电磁干扰防护也是不容...

    基于ASP的反垃圾邮件管理系统的设计(源代码+论文).zip

    《基于ASP的反垃圾邮件管理系统的设计》是一份深入探讨如何构建高效、实用的反垃圾邮件系统的资源包。这个系统的设计采用ASP(Active Server Pages)技术,这是一种微软开发的服务器端脚本环境,常用于创建动态网页...

    基于python的邮件分类系统设计与实现.docx

    《基于Python的邮件分类系统设计与实现》这篇本科毕业论文主要探讨了如何利用Python语言构建一个有效的邮件分类系统。该系统旨在自动将大量的...对于想要了解或从事相关领域工作的读者,这是一份非常有价值的参考资料。

    行业文档-设计装置-一种架构检修平台.zip

    本文将深入探讨“一种架构检修平台”的设计与实现,结合提供的行业文档,我们将从以下几个关键知识点进行阐述: 1. **架构检修的重要性**: 在现代信息技术环境中,软件系统的复杂度日益增加,架构检修平台可以...

    JSP基于BS结构下的邮件系统设计开发(源代码+论文).zip

    通过这个项目,不仅可以掌握JSP技术,还能深入理解BS架构的原理和实践,对于学习Java Web开发以及进行毕业设计的学生来说,是一份宝贵的参考资料。提供的源代码则可作为实际操作的实例,帮助开发者加深理解和实践...

    58套高级架构简历模板.zip

    在IT行业中,简历是求职者展示自己技能、经验和成就的重要工具,特别是在高级架构师这个职位上,一份高质量的简历能够显著提升获得面试机会的概率。"58套高级架构简历模板.zip"提供了一组专为高级架构师设计的简历...

    基于ASP.NET+cs的电子邮件简单收发系统设计与实现(源代码+项目报告).zip

    该项目不仅包含了源代码,还有一份详细的项目报告,为学习者提供了一个完整的实践案例。 首先,ASP.NET是微软开发的一款用于构建Web应用程序的框架,它基于.NET Framework,提供了丰富的服务器控件、内置的安全性、...

    基于java的邮件系统毕业(论文)设计说明书.doc

    本文档是关于基于Java的邮件系统的一份毕业论文设计说明书,详细探讨了如何利用Java技术构建一个Web邮件系统。该系统旨在提供一个便捷、高效且可移植的邮件服务解决方案。 在第一章绪论中,论文首先介绍了电子邮件...

    基于java的邮件系统毕业设计说明书.doc

    本文档是一份基于Java的邮件系统毕业设计说明书,主要涵盖了电子邮件系统的基本概念、发展历程、工作原理,以及如何利用JavaMail API和Web技术构建一个邮件系统。设计过程中涉及了需求分析、系统架构、开发工具选择...

    基于Javamail的邮件收发系统(系统+论文+开题报告+任务书+外文翻译+文献综述+答辩PPT).rar

    《基于Javamail的邮件收发系统》项目是一份全面涵盖了从系统开发到学术研究的资源集合,其中包含了系统程序、学术论文、开题报告、任务书、外文文献翻译、文献综述以及答辩演示PPT等重要资料。这个项目主要关注的是...

    毕业答辩-ASP.NET基于cs的电子邮件简单收发系统设计与实现(源代码论文).rar

    在描述中提到的“源代码论文”,意味着这个压缩包不仅包含了实现该项目的源代码,还可能包括一份详细的论文或文档,该文档可能涵盖了系统的设计思路、技术选型、架构解析、功能实现步骤以及可能遇到的问题和解决方案...

    类似如鲁大师一样的一款系统优化的软件(c#)

    “魔法兔子”提供的源代码对于C#初学者或.NET开发者而言,是一份珍贵的学习资料。通过阅读源代码,可以学习到如何使用.NET Framework进行系统层面的操作,如调用Windows API,处理系统事件,以及如何设计用户友好的...

    网站架构核心技术.zip

    这份名为"亿级流量网站架构核心技术.zip"的压缩包包含了一份详细的PDF文档,探讨了处理大规模用户访问的关键技术。以下是对这些核心知识点的详细阐述: 1. 分布式系统:亿级流量意味着单台服务器无法承受所有请求,...

    net邮件收发系统的设计(论文+源代码+开题报告+外文翻译+文献综述+答辩PPT)_计算机毕业设计源代码.rar

    这个压缩包提供了一个完整的毕业设计流程实例,对于学习.NET开发,尤其是邮件系统设计的学生来说,是一份宝贵的资料。通过学习和实践,学生不仅可以掌握.NET技术,还能了解到软件工程的完整生命周期,包括需求分析、...

    基于ASP的反垃圾邮件管理系统的设计(源代码+论文).rar

    《基于ASP的反垃圾邮件管理系统的设计》是一份深入探讨如何利用ASP技术构建高效、可靠的反垃圾邮件系统的学术研究。此设计适用于毕业设计和课程设计,提供了完整的源代码,旨在帮助学习者理解和实践Web应用程序开发...

    net邮件收发系统的设计(论文+源代码+开题报告+外文翻译+文献综述+答辩PPT).zip

    《NET邮件收发系统设计与实现》是一份深入探讨电子邮件系统的综合资料,包含了从理论到实践的完整过程。这份资源包括论文、源代码、开题报告、外文文献翻译、文献综述以及答辩PPT,为学习和研究.NET平台上的邮件系统...

    AnyBackup邮件备份恢复最佳实践.pdf

    《AnyBackup邮件备份恢复最佳实践》是一份详细阐述如何高效、安全地进行电子邮件备份与恢复的解决方案文档。本文档适用于那些寻求优化邮件系统保护策略,确保业务连续性和数据安全性的IT专业人士。 首先,文档介绍...

Global site tag (gtag.js) - Google Analytics