马如悦,百度大数据部主任架构师,负责百度分析型数据库方向和在线数据服务架构方向。 在大会召开前夕,笔者有幸采访到了马如悦,请他分享Palo在百度内部的应用实践。在他看来,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师。
值得一提的是,在2015年11月19-21日召开的SDCC 2015(软件开发者大会)上,马如悦将在新一代数据库调优实战论坛中带来《Palo分析型数据库在百度内的应用实践》的主题分享,欢迎前来现场聆听【点击这里抢票】。
马如悦
CSDN:首先请简单介绍下自己、公司以及目前所负责的领域。
马如悦:我当前在百度大数据部,负责百度在线数据服务架构团队,我们团队主要为公司提供在线高性能数据访问服务,包括3个产品方向,一个是SimpleDB方向,主要存储KV类型的数据,满足高并发的一些在线查询需求,很多数据通过离线批量和实时导入;另一个是SqlDB方向,主要作为结构化的数据分析数据库,内部产品名称为Palo;另一个是SearchDB方向,主要作为对非结构化的数据分析数据库。
CSDN:目前百度主要使用的数据库有哪些?他们各自的优势是什么?
马如悦:OLTP的主要是分布式MySQL、NoSQL,百度有自己研发的MolaDB,OLAP的主要使用Palo。
CSDN:百度自主研发的分析型数据库Palo主要承担着怎样的角色?它的主要特性是什么?其开发架构是怎样的?适合什么样的开发场景?
马如悦:Palo是一套面向大规模数据分析的并行数据库系统。主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析(OLAP)服务。Palo 的一个很大的特色是:将会满足报表和OLAP分析这两类不同的需求。
Palo在整个分析体系中所承担的是数据库的角色,只是这个数据库是并行的、面向分析的数据库系统。然后在这个数据库系统上,通过支撑现有的(BIEE、Pentaho等)或者百度自己研发的BI应用套件来提供全套的报表和分析应用。
Palo单一系统,即可解决Impala+HDFS,Sparksql+HDFS,Impala+HBase,传统分析数据库Greenplum等,Google dremel、 Google mesa, 以及当前最新的Impala+Kudu。用户可以使用一个Palo,上面的所有需求都可满足,这就是Palo最大的不同。Palo的核心特点就是通用性要好一些,部署简单易用。
CSDN:在开发Palo期间没有遇到过困难点?又是如何克服的?你们目前的开发团队有多少人?
马如悦:Palo开发期间遇到的最大困难就是周边很多人不认可这个方向,认为使用Impala + HDFS/HBase,或者Sparksql就能解决问题。但是我们还是坚信这些开源的方案不是特别理想,比如部署复杂,依赖过多,性能不高等等,所以最后我们还是相信了自己内心,没有使用蹩脚的开源技术。事后,从Cloudera公司当前开始研发Kudu,可以看到,我们的当初选择领先了社区2到3年。
我们的团队当前有7,8人投入Palo开发。
CSDN:你目前还会关注哪些新技术?
马如悦:目前对Julia语言痴迷,具有Python的简单,有C语言一般的执行速度,有R语言一样的数据分析库支持,也满足很多对函数编程人的幻想,我坚信Julia在5年内势必成为数据分析事实上的语言。Julia和Spark的结合是我当前正在努力做得一些事情,我一直认为Spark使用Scala是一大错误,期待有一天我实现一个使用Julia编写的Spark。当前的分布式计算技术还是太复杂了,希望未来能简化一些。
CSDN:你认为一名优秀的技术管理者应该具备怎样的素质?
马如悦:优秀的技术管理者要充当两个角色,一个是方向引领者,一个是好的后勤。很多人事实喜欢冲到一线指指点点,那样的话,我认为你是一个好的程序员,但不是一个好的技术管理者。引领好方向,制定好目标,放手让聪明人的人去公关,遇到问题,要给其出谋划策。
CSDN:在你看来技术人如何成长为一名优秀的架构师?
马如悦:记住一点,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师;还有一点,在外演讲多于在公司解决问题的,那根本不是架构师,那是布道师。
CSDN: 在本次SDCC 2015上想分享的话题是?
马如悦:Palo的实践体会。
CSDN:你最期待在本次SDCC 2015上听到哪些内容?
马如悦:其它公司都是怎么解决分析型数据库这些问题的。主要想听听大家踩过的坑,以及当前的痛点。
相关推荐
测试架构师在软件开发行业中扮演着至关重要的角色。从简单的测试执行者到架构师级别的测试专家,职业晋升的道路上充满了挑战与机遇。《测试架构师修炼之道:从测试工程师到测试架构师1》这本书,就是为了指引那些...
架构师的核心价值并不仅仅在于掌握多少先进技术,而是体现在将一个大系统切分成多个低耦合子模块的能力上。这些子模块既包括横向的业务模块,也包括纵向的基础技术模块。这种能力不仅源于架构师的专业技术知识和经验...
### 架构师—企业的未来 #### 一、架构师的角色与存在意义 在《2009系统架构师大会PPT:吴静涛:架构师–企业的未来》这一演讲中,吴静涛先生作为F5中国区的技术总监,深入探讨了架构师在企业中的重要作用及其面临...
资料及代码 一、互联网并发编程 五、数据库设计与优化 四、Linux部分 三、JAVA虚拟机 七、互联网框架应用 六、互联网中间件架构设计 二、互联网网络通信编程 八、互联网分布式综合项目实战
天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接...
它首先定义了架构师的角色,让读者明确架构师不仅仅是技术团队的一员,更是连接业务战略和技术实施的关键桥梁。在这一期中,读者可以学习到系统架构设计的原则,这些原则包括模块化、可扩展性、可维护性以及性能优化...
架构师之路的第一阶段视频教程,百度网盘。需要的拿去................
系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构...
《架构师成长之路》这本书是为那些志在成为优秀架构师的IT专业人士量身打造的指南。它深入探讨了架构师的角色、职责以及如何在职业生涯中逐步提升自己的技能和视野,以适应快速变化的IT环境。 一、架构师的角色与...
8. **面试技巧与职业规划**:对于有志于成为系统架构师的人来说,了解面试常见问题、职业发展路径和提升策略也是必不可少的。 综合这些内容,考生可以系统地学习和准备,提升自己的技术水平,以期在软考中取得优异...
免费视频讲座:2017高级互联网架构师全套视频教程百度网盘 30G! 资料及代码 一、互联网并发编程 五、数据库设计与优化 四、Linux部分 三、JAVA虚拟机 七、互联网框架应用 六、互联网中间件架构设计 二、...
系统架构师是一个在IT行业中至关重要的角色,他们负责设计、规划和实施复杂的计算机系统,以满足业务需求。历年高级系统架构师真题是备考这一专业资格考试的重要参考资料,涵盖了从2009年至2017年的历年试题,旨在...
阅文集团-徐海峰-个人成长:从码农到架构师
《软考架构师配套讲义》是一份针对国家软考(即全国计算机技术与软件专业技术资格(水平)考试)中的架构设计师级别的学习资料。这份压缩包包含了一个名为“软考架构师配套讲义.pdf”的文件,是为准备参加该考试的...
这门课程旨在为有志于成为Java高级架构师的同学提供全面的知识体系和实战经验。课程涵盖了Java EE框架、微服务架构、性能优化、安全性等领域,并通过案例分析和项目实践,帮助学员深入理解并掌握高级架构设计与实施...
《一线架构师实践指南》是一本专为有志于或已经在IT行业中担任架构师角色的专业人士准备的电子书籍。该书旨在提供实用的、一线的架构设计与实施经验,帮助读者提升自己的专业技能,理解并解决实际工作中遇到的挑战。...
全国计算机技术与软件专业技术资格(水平)考试是...最后,除了上述技术方面的知识点外,系统架构师还应当了解行业趋势、技术发展动态和市场环境,这样可以更好地帮助组织把握技术发展方向,对企业的长期战略做出贡献。
架构师需要具备很好的综合素养,能够与相关干系人协作,达成项目目标。 在互联网+的时代,架构师需要具备技术开源化、产品敏捷化、服务全网化、系统复杂化和人力高效化等特征。 架构师需要能够快速学习和应用新...