`

关于高并发,大数据框架的建议

 
阅读更多

摘自CSDN网友的建议

1.数据量比较大的话,建议使用Hadoop,搭建分布式环境HDFS,做数据分片sharding。
2.服务器需要做负载均衡,不然数据量大读写频繁,而且还要做成多节点的,防止当机。
3.服务器建议使用高性能的反向代理服务器:Nginx。
4.数据持久化ORM层也附加缓存技术,建议使用Reids或者Memcahe,建议使用前者,前者数据类型支持的多,且性能各个方面都不错。数据量多数据操作直接落到库上压力大,当使用人较多是并发量大更受不了。
5.建议废弃掉SSH架构,使用轻量级的Spring MVC + Ibatias。

分享到:
评论

相关推荐

    BigCore大数据高并发开发框架net版

    "BigCore大数据高并发开发框架net版"是一个专为服务器集群设计的开源分布式开发框架,主要针对大数据处理和高并发场景。这套框架充分利用了.NET技术栈的优势,旨在提高开发效率,提供稳定且高效的系统性能。 大数据...

    BigCore大数据高并发开发框架

    "BigCore大数据高并发开发框架"是一个专门为处理大规模并发数据处理和高效运算而设计的开源框架。这个框架的出现旨在简化服务器集群环境下的分布式系统开发,以满足日益增长的业务需求。通过集成mongodb内存数据库和...

    大数据高并发开发框架BigCore

    一套开源的服务器集群分布式大数据高并发的快速开发框架,使用mongodb内存数据库,二级缓存技术。 java 版下载 https://git.oschina.net/bigcore/bigcore

    大数据框架整理.pdf

    大数据框架是现代信息技术领域的重要组成部分,它涉及到一系列用于处理海量数据的工具和平台。本文将对其中的关键组件进行深入解析。 首先,我们关注Hadoop Distributed File System (HDFS)。HDFS是大数据处理的...

    大数据平台技术框架选型分析

    3. **自助BI分析/交互式SQL**:Impala是Cloudera开发的MPP(Massively Parallel Processing)查询引擎,它可以提供准实时的分析能力,允许用户通过SQL进行数据探索,支持高并发的自助BI服务,极大地提高了业务用户的...

    高并发、大数据企业源码

    综上所述,这些技术共同构成了处理高并发、大数据的企业级应用架构。通过合理地使用它们,可以构建出能够处理大规模并发请求、高效处理大数据、具有良好扩展性和安全性的系统。在实际开发中,还需要根据业务需求和...

    分布式大数据高并发的web开发框架.pdf

    在现代互联网应用中,面对分布式大数据和高并发的挑战,Web开发框架的选择和设计至关重要。本文将详细探讨如何构建一个高效的分布式大数据高并发Web开发框架,以满足不断增长的业务需求。 首先,我们需要理解为什么...

    [云框架]SMACK大数据架构-用户指南

    在阅读《[云框架]SMACK大数据架构-用户指南》时,开发者将深入理解这些组件的交互方式,掌握如何构建和维护大规模、高并发的数据处理系统,这对于Java开发中的其他杂项任务也具有重要的参考价值。

    大数据高并发架构实战案例分享-ppt资源

    在IT行业中,大数据和高并发架构是两个至关重要的领域,它们是现代互联网企业处理海量数据和应对瞬时大规模用户访问的核心技术。本篇内容将基于提供的"大数据高并发架构实战案例分享-ppt资源",深入解析相关知识点,...

    高并发可用框架视频网站

    【高并发可用框架视频网站】是一个提供丰富IT项目资料和视频教程的平台,特别关注于在高并发场景下构建稳定、高效的应用框架。这个平台涵盖了多个领域的技术教程,包括Dubbo、SpringBoot以及大数据处理等,旨在帮助...

    大数据高并发架构实战案例分享

    总结来说,大数据高并发架构实战案例分享涵盖了从大数据处理框架到高并发架构设计的各个方面,包括数据存储、计算、服务拆分、负载均衡、缓存策略、监控与日志管理等关键技术。通过学习这些内容,开发者可以更好地...

    大数据应用案例 大数据培训视频教程-大数据高并发架构实战案例.docx

    课程由经验丰富的讲师Tom5授课,涵盖了多种关键技术和实战案例,以帮助学员快速掌握千万级高并发大数据网站的搭建。 首先,课程重点介绍了大数据在高并发架构中的应用。在面对大规模数据和高并发需求时,技术选型和...

    大数据之接口框架基本要求

    此外,对于高并发场景,还需要考虑负载均衡策略,合理分配请求到不同的服务器节点上,以避免单个节点过载。 #### 二、可扩展性 随着业务和数据量的增长,大数据系统的规模也会不断扩大。因此,接口的设计需要具备...

    大数据平台技术框架选型分析.pdf

    最后,大数据框架中的消息队列服务也非常重要,如Apache Kafka、RabbitMQ、ZeroMQ等。这些消息队列能够有效地处理高并发的生产者和消费者之间的消息传递。 综上所述,大数据技术框架选型需要综合考虑数据处理能力、...

    基于C++14和ASIO实现高并发TCP网络框架.zip

    包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。 包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、python...

    Java面试题库与答案解析

    3. **大数据处理**:虽然Java不是大数据的唯一工具,但Hadoop、Spark等大数据框架都是用Java开发的。理解MapReduce编程模型,以及如何使用Java API进行大数据处理是非常有价值的。 4. **源码解读**:深入理解Java...

    大数据开源框架集锦.pdf

    RocketMQ是阿里巴巴开发的消息系统,适用于高并发场景。 12. **任务调度**:Azkaban和Oozie是任务调度工具,用于批量工作流的管理和执行,确保任务按照预定顺序和时间执行。 13. **数据治理**:Ranger和Sentry提供...

    大数据测试资料.zip

    本资源“大数据测试资料.zip”提供了关于大数据测试的全面知识,包括测试方法、工具、质量和总结,以及接口自动化框架的设计思想。以下是这些主题的详细说明: 1. **大数据测试方法**:大数据测试通常涉及数据清洗...

    清华大学—学堂在线—高级大数据系统课件笔记.zip

    "NoSQL"数据库章节则涵盖了非关系型数据库,如MongoDB、Cassandra等,这些数据库在处理大规模、高并发数据时具有优势。 "图处理"可能涉及到了Giraph、Pregel等图计算框架,用于处理复杂的网络结构数据。 最后,...

Global site tag (gtag.js) - Google Analytics