前两天在以前同事的推荐下,有幸得知csdn举办的"大数据技术大会",恰逢公司最近关于三套系统由于使用不同的技术,导致事务不一致的问题,使得我对数据库事务关注了一阵子,大会还算来的恰如其分!另外,从我从事IT职业以来,我也在专业软件公司,互联网公司,直到到现在的企业信息化部门,都呆过,对于互联网以及专业公司软件的技术都不陌生,我一直认为自己是一个对新技术非常敏感的人,近半年,Nosql,MapReduce等新词见诸各种技术文章,一直想了解一下这些方面的东西,苦于没有什么机会,直到今天,这个机会终于来了!
整整一天的大会,相当的丰盛,我不想去赘述大会的各个细节,下面就简单谈谈大会对我的一些启发或者是叫收获:
1、使用Nosql的开源产品,必须由实际的需求驱动,而不是为了追赶时髦而去使用,如果业务没有这样的需求,请远离Nosql产品。
2、大数据时代,开源Nosql产品确实解决了我们面临的很多问题,它简化了问题的复杂度,降低了初期应用建设的成本,快速兑现了商业目标,但随后的人力成本,以及产品本身的服务却难以保证,如果在不缺钱的情况下,还是以选择服务到位的商业产品为宜。
3、MapReduce这些产品中的分布式实时在线处理,可以关注下,如果未来想接触云计算方面的技术的话。
3、R语言似乎流行了很久,但工作中很少用到,就听听热闹吧。
4、还有一些其他的MongoDB、Hadoop这些产品还需要我下去再关注。
5、如果想从事Nosql等大数据的研发工作,必须具备高层的分布式技术经验,以及底层存储技术的经验,因为只有用有这两方面经验,无论你有没有研究过目前这些Nosql产品,你会很快熟悉起来他们,并用好他们。
6、并不是所有需求都要用Nosql,如果你的业务当前一个阶段没有那样的业务目标,你就没有必要冒那个风险,你可以通过对现有应用瓶颈的优化,达到你的业务目标,或者使用一些传统的技术,比如使用lucene索引、ssd高性能存储、mysql分表集群技术,对于需求来讲这些技术都是很好的技术。
末了,发1张大会照片,呵呵~~~
- 大小: 70.3 KB
分享到:
相关推荐
#### 大数据技术概览 随着信息技术的飞速发展,大数据技术已经成为支撑现代信息化社会的重要基石之一。本篇文章将根据给定的内容,深入探讨大数据的基本概念、挑战、以及关键技术框架,特别是针对Hadoop这一重要的...
### CSDN大数据应用大会PPT――09-赵昆:淘宝海量数据技术 #### 大数据背景下的淘宝挑战 在本次演讲中,赵昆(淘宝花名:空无)分享了淘宝面对的大数据挑战及相应的解决方案。淘宝作为国内最大的电商平台之一,其...
BDTC2014中国大数据技术大会超级火爆。应大家的要求,特别将32位主要演讲专家的PDF收集、整理、分享。内容涵盖Hadoop、YARN、Spark、HBase、Impala、Tez等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图...
本届大会以“数据安全、深度分析、行业应用”为主题,内容涉及Hadoop、YARN、Spark、HBase、Kudu、PostgreSQL-X2等开源软件的最新进展,以及内存计算、大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的...
总结来说,大数据技术是信息技术发展的一个重要方向,它涵盖了数据的收集、存储、处理和分析等多个环节,利用新的处理模式应对数据的爆发式增长,从海量数据中挖掘价值,为企业决策、创新和社会治理提供了强大的支持...
大数据技术是21世纪信息化时代的基石之一,它涵盖了海量数据的采集、存储、处理、分析以及应用等多个层面。本文将深入探讨大数据的概念、技术原理、应用及其相关存储和处理方式。 首先,我们要理解大数据的基本概念...
《大数据技术原理与应用》期末复习
在本实验报告中,我们将深入探讨大数据技术及其在实际应用中的具体操作,主要涉及四个关键实验:Hadoop分布式环境的搭建、HDFS的shell指令和Java API操作、HBase的shell指令操作以及Java API对HBase的操作。...
大数据参考架构围绕代表...IT价值链表示大数据作为一种新兴的数据应用范式为IT技术产生的新需求带来的价值,其核心价值通过为大数据应用提供存储和运行大数据的网络、基础设施、平台、应用工具以及其他IT服务实现。
- **多样**:图2-4展示了数据类型的多样性,处理多种类型数据的能力是大数据技术的关键挑战之一。 - **低价值密度**:图2-5表示大数据中的大部分数据可能没有立即的价值,需要通过深度分析才能揭示隐藏的洞察。 ...
根据提供的信息,我们可以总结出以下有关“CSDN大数据方面的学习视频”的知识点: ### CSDN学院免费大数据学习资源 #### 1. **Spark 学习路径** - **课程链接**:[Spark 学习路径]...
大数据技术分享 nvidia-GPU加速大数据分析应用 NVIDIA助力智慧城市建设 共13页.pptx
spark学习课件,让你深入浅出学习spark。Spark是Hadoop MapReduce的替代方案。MapReudce不适合迭代和交互式任务,Spark主要为交互式查询和迭代算法设计,支持内存存储和高效的容错恢复。Spark拥有MapReduce具有的...
对要成为大数据技术专家的技能全面总结,确定你的目标,你值得拥有!
《大数据技术基础》是林子雨撰写的一本深入探讨大数据技术的著作,旨在为读者提供一个全面理解大数据技术的基础框架。大数据,这个概念在21世纪的信息时代已经变得至关重要,它涉及海量、高速、多样化的信息资产,...
大数据技术是指用于处理、分析以及挖掘海量数据的技术总称,这些数据包括结构化数据、半结构化数据和非结构化数据。随着互联网、社交媒体、移动设备、物联网(IoT)等技术的发展,每天都会产生大量的数据。大数据的...
大数据技术原理与应用 林子雨版 课后习题答案(第3版).xdf
大数据讲演PPT, 包含大数据相关技术介绍,大数据关键技术,大数据与云计算之间的关系等等。 适于关于大数据的讲演和大数据初学者