2013中国软件技术大会 参会笔录及感想

2013中国软件技术大会 参会笔录及感想

参加完北京举行的软件技术大会，有感而发；
大会会期两天，12.13-12.14；
13日上午只有一个主会场，看看主会场的演讲主题，再看看出钱最多的赞助商，我们知道，一上午将都是广告；
会议安排表：http://www.softcon.cn/schedule.asp

做广告

赞助厂商众多，在这个宣传的结点上，各大厂商都使出吃奶的力气；
根据出钱的多少，细分为白金赞助和金牌赞助、让人不竟联想到医药行业的会议；
医药的会议，都是药商出钱，给你吃好喝好，让你对他们的药产生良好的印象，最终目的就是为了你能够在处方单上写上他们家的产品；

主会场PPT的形式是多样的，有赤裸裸的形式，比如NEC，全篇都是对公司的介绍，毫不考虑听众的感受，横竖土豪一个：怎么着，老爷我出了这么多钱赞助，你们都给我乖乖听好了，不许放屁；

当然，也有用心之作， 王昊的《空间信息平台让您的软件更智慧》，赢得了不少掌声；演讲精彩， PPT赏心悦目，不断抛出的观点给大家带来了新思维，同时，也记住了你的产品；

质量

两天下来，真正有用的干货有限，没有那种心潮澎湃的激动，也没有发现新大陆的兴奋；
细细想来，可能是因为对这个会议的期望过高； 可能就是厂商为了广告、为了宣传他们的产品，搞得这么一个会，让大家来聚一次，至于什么深奥的话题，观点的碰撞，ok，是我想多了；

我这边主要关注大数据和架构的话题，两天的时间，找感兴趣的重点听了3场，其余的都是走马观花；
下面是这3场的笔录；

Orace数据库整合解决方案

副标题是：从PDB到In-memory选件

演讲人：盖国强
程序员出生，毕业之后DBA方向，目前是ACE中国总监。
ACE这个荣誉称号都是拿出来吓人的，一般他们都会跟外行的人加上一句：目前中国区拿到ACE的有二十来人；

数据整合

用阿里巴巴作为例子，阿里最近几年的频繁收购就是一个数据积累和聚集的过程；
收购，再免费开放，用户获得了优惠，阿里获取了用户的信息；
收购虾米音乐，获得2000万用户；
收购丁丁优化，获得3000万用户；
入股新浪微博，获取5.3亿用户；
还有穷游的和墨迹的1.3亿用户，都是阿里争取到的宝贝；

有了数据，接下里就是整合；
通过整合的数据，通过数据运营，来实现数据的增值；

例子：
1.为金融提供支持～个人授信业务
根据淘宝网店的交易记录，为其融资借贷提供有力的支撑；

2.淘宝向向世纪佳缘提供个人消费信用接口API
给这么一个场景，在世纪佳缘上，一姑娘相中一小伙了，条件都不错，但是，他的背景是否都是真实的呢？会不会是个骗子呢？ok，请给我看看你过去一年的淘宝消费记录，屌丝还是高富帅一目了然；

这朋友讲的很随意，在会务人员提示还有10分钟的时候才发现还没有进入主题；
他说到，每年都会来这个大会上演讲一次，但仅仅是讲了而已；
至少，我们能确定，这堂课，他是没有做什么准备；

阿里CDN架构演变

演讲人：余庆
阿里巴巴技术专家，FastDFS创始人

阿里CDN架构演变的3个阶段：
1.LVS + HAProxy + Squid
2.LVS + HAProxy + ATS
3.LVS + ATS Cluster

Squid的优点：
协议兼容性好，功能完善；
同时，对大文件支持好；
缺点：
进程模式，配置和管理复杂；
针对多处理器的性能不好；
Coss索引结构导致重启慢；

HAProxy的优点：
事件驱动、单一进程模型，支持大并发；
缺点：
不支持插件；

阿里内部对HAProxy的主要改进点：
1.支持后端长连接
2.实现RAM Cache，支持热点数据；
3.实现ACL，支持鉴权；

到第三阶段，将架构层扁平化，LVS 后直接接入ATS 集群（集群规模为10个结点组成一个集群）；
Apache Traffic Server（ATS），高性能开源的Cache Server;
支持正向代理和反向代理；
基于事件驱动，采用多线程模型；
支持裸盘，重启速度快；
扩展性好，支持插件开发（很容易按业务扩展）

阿里的改进基于ATS3.2版本，对于Cluster的改进：
1.连接复用；
2.高效的session管理；
3.数据接受使用epool管理（linux内核层）
4.采用直接发送数据的方式；

有个小插曲，在他们做优化效果的压力测试时，到一定值后再怎么优化也无法继续提高；
最后发现原来是网卡驱动不给力，升级之后万事大吉；

大数据--数据库的第二次浪潮

演讲者：卢东明
SAP公司全球数据库部门亚太技术总监
微博：@明说大数据

听卢老师的课很是享受，语言通俗，示例生动，如听故事一般，1个半小时一晃而过，回味良久；

计算机的发展按10年来划分，我们发现每个10年都有集中发力的领域:
70年代 大家都在做操作系统
80年代 开始做数据库，89年Oracle达到一次高峰，Sybase的业务也如火如荼的开展，要不是94年的致命决策，也不会成就Oracle当今的一家独大；
90年代 互联网崛起
00年代的尾巴上，移动互联网风生水起，APP的开发成为主流
10年代 会是大数据？谁也说不准，唯有拭目以待。

观点：
到2020，80%数据库都将转为以内存作为主媒体，以flash作为存储备份的方向；

当今数据库市场

1. 行式数据库
   关系型数据库仍然占据着主流市场；

2. 列式数据库
   在解决大数据的问题上，列式数据库向前迈出了一大步；

3. 内存数据库
   随着互联网的兴起，大并发的访问需求造成了当今内存数据库的繁荣；

4. 嵌入式数据库

5. 面向对象数据库
6. 数据流处理数据库
7. 非结构化数据库

重点讲解了列式数据库和数据流分析：

列式数据库

列式数据库在存储上能将存储容量降低一个数量级，
同时，提供高效的查询。
示例：
美国报税部门，使用行式数据库，存储每年的税务记录，达到PB级别；
在民众把税都报上去后，其监控是否有漏税的软件加载和分析的时间需要4-8周；
而采用列式数据库后，税务存储记录降到190TB；
加载和分析的时间降到4个小时；

数据流分析CEP技术

CEP：复杂事件处理
数据流不关注数据的存储，关注的第一要点是基于数据流的处理

对比：
数据库是水库，数据流是水管

数据流用于处理的场景：
数据记录下来没用，重要的是第一时间处理

示例：
车内装有各种传感器装置，某时刻发现胎压降低80%，车速骤降，座椅重量从170斤降到20斤，
多项数据综合分析得出，可能是轮胎破裂导致事故发生，当前电脑的第一决策是打开安全气囊；

解决大数据问题
关系型数据库在向内存发展； 而Hadoop 则从文件系统的角度发展，使用更多的机器来支撑大数据；
这是一个两边爬坡的方式，究竟谁会站在山顶，尚未可知；
大数据方面，目前列式数据库解决的还算不错；

Posted by: 大CC | 15DEC,2013
博客：blog.me115.com
微博：新浪微博