马如悦,百度大数据部主任架构师,负责百度分析型数据库方向和在线数据服务架构方向。 在大会召开前夕,笔者有幸采访到了马如悦,请他分享Palo在百度内部的应用实践。在他看来,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师。
值得一提的是,在2015年11月19-21日召开的SDCC 2015(软件开发者大会)上,马如悦将在新一代数据库调优实战论坛中带来《Palo分析型数据库在百度内的应用实践》的主题分享,欢迎前来现场聆听【点击这里抢票】。
马如悦
CSDN:首先请简单介绍下自己、公司以及目前所负责的领域。
马如悦:我当前在百度大数据部,负责百度在线数据服务架构团队,我们团队主要为公司提供在线高性能数据访问服务,包括3个产品方向,一个是SimpleDB方向,主要存储KV类型的数据,满足高并发的一些在线查询需求,很多数据通过离线批量和实时导入;另一个是SqlDB方向,主要作为结构化的数据分析数据库,内部产品名称为Palo;另一个是SearchDB方向,主要作为对非结构化的数据分析数据库。
CSDN:目前百度主要使用的数据库有哪些?他们各自的优势是什么?
马如悦:OLTP的主要是分布式MySQL、NoSQL,百度有自己研发的MolaDB,OLAP的主要使用Palo。
CSDN:百度自主研发的分析型数据库Palo主要承担着怎样的角色?它的主要特性是什么?其开发架构是怎样的?适合什么样的开发场景?
马如悦:Palo是一套面向大规模数据分析的并行数据库系统。主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析(OLAP)服务。Palo 的一个很大的特色是:将会满足报表和OLAP分析这两类不同的需求。
Palo在整个分析体系中所承担的是数据库的角色,只是这个数据库是并行的、面向分析的数据库系统。然后在这个数据库系统上,通过支撑现有的(BIEE、Pentaho等)或者百度自己研发的BI应用套件来提供全套的报表和分析应用。
Palo单一系统,即可解决Impala+HDFS,Sparksql+HDFS,Impala+HBase,传统分析数据库Greenplum等,Google dremel、 Google mesa, 以及当前最新的Impala+Kudu。用户可以使用一个Palo,上面的所有需求都可满足,这就是Palo最大的不同。Palo的核心特点就是通用性要好一些,部署简单易用。
CSDN:在开发Palo期间没有遇到过困难点?又是如何克服的?你们目前的开发团队有多少人?
马如悦:Palo开发期间遇到的最大困难就是周边很多人不认可这个方向,认为使用Impala + HDFS/HBase,或者Sparksql就能解决问题。但是我们还是坚信这些开源的方案不是特别理想,比如部署复杂,依赖过多,性能不高等等,所以最后我们还是相信了自己内心,没有使用蹩脚的开源技术。事后,从Cloudera公司当前开始研发Kudu,可以看到,我们的当初选择领先了社区2到3年。
我们的团队当前有7,8人投入Palo开发。
CSDN:你目前还会关注哪些新技术?
马如悦:目前对Julia语言痴迷,具有Python的简单,有C语言一般的执行速度,有R语言一样的数据分析库支持,也满足很多对函数编程人的幻想,我坚信Julia在5年内势必成为数据分析事实上的语言。Julia和Spark的结合是我当前正在努力做得一些事情,我一直认为Spark使用Scala是一大错误,期待有一天我实现一个使用Julia编写的Spark。当前的分布式计算技术还是太复杂了,希望未来能简化一些。
CSDN:你认为一名优秀的技术管理者应该具备怎样的素质?
马如悦:优秀的技术管理者要充当两个角色,一个是方向引领者,一个是好的后勤。很多人事实喜欢冲到一线指指点点,那样的话,我认为你是一个好的程序员,但不是一个好的技术管理者。引领好方向,制定好目标,放手让聪明人的人去公关,遇到问题,要给其出谋划策。
CSDN:在你看来技术人如何成长为一名优秀的架构师?
马如悦:记住一点,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师;还有一点,在外演讲多于在公司解决问题的,那根本不是架构师,那是布道师。
CSDN: 在本次SDCC 2015上想分享的话题是?
马如悦:Palo的实践体会。
CSDN:你最期待在本次SDCC 2015上听到哪些内容?
马如悦:其它公司都是怎么解决分析型数据库这些问题的。主要想听听大家踩过的坑,以及当前的痛点。
相关推荐
标题和描述中的“百度林仕鼎:架构设计与架构师(演讲稿)”明确指出了本次分享的主题聚焦于架构设计及其对于架构师角色的意义。在IT领域,尤其是软件开发和系统构建过程中,架构设计扮演着至关重要的角色,它不仅...
架构师的核心价值并不仅仅在于掌握多少先进技术,而是体现在将一个大系统切分成多个低耦合子模块的能力上。这些子模块既包括横向的业务模块,也包括纵向的基础技术模块。这种能力不仅源于架构师的专业技术知识和经验...
### 架构师—企业的未来 #### 一、架构师的角色与存在意义 在《2009系统架构师大会PPT:吴静涛:架构师–企业的未来》这一演讲中,吴静涛先生作为F5中国区的技术总监,深入探讨了架构师在企业中的重要作用及其面临...
天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接...
第三期可能关注了架构师的领导力和沟通技巧,这是成功架构师不可或缺的部分。如何与团队成员、管理层和其他利益相关者有效地沟通架构决策,以及如何引导团队达成共识,可能是这一期的重点。同时,可能会讨论到持续...
架构师之路的第一阶段视频教程,百度网盘。需要的拿去................
《架构师成长之路》这本书是为那些志在成为优秀架构师的IT专业人士量身打造的指南。它深入探讨了架构师的角色、职责以及如何在职业生涯中逐步提升自己的技能和视野,以适应快速变化的IT环境。 一、架构师的角色与...
8. **面试技巧与职业规划**:对于有志于成为系统架构师的人来说,了解面试常见问题、职业发展路径和提升策略也是必不可少的。 综合这些内容,考生可以系统地学习和准备,提升自己的技术水平,以期在软考中取得优异...
《完整版—架构师之路(58沈剑)》是一份深入探讨软件架构设计与实践的宝贵资料,共计322页,由业界知名专家沈剑编著。这本书旨在为那些希望成为优秀架构师或者正在从事架构工作的专业人士提供一套全面的知识体系和...
系统架构师是一个在IT行业中至关重要的角色,他们负责设计、规划和实施复杂的计算机系统,以满足业务需求。历年高级系统架构师真题是备考这一专业资格考试的重要参考资料,涵盖了从2009年至2017年的历年试题,旨在...
阅文集团-徐海峰-个人成长:从码农到架构师
"java程序员到架构师之路.pdf" 以下是对《java程序员到架构师之路.pdf》的详细解读: 一、Java 编程入门类 作为 Java 程序员,快速掌握 Java 基础语法和基本用法是非常重要的。在这个阶段,需要快速过一遍 Java ...
这些模型为项目的规划和执行提供了指导,帮助架构师更好地控制质量和风险。 6. 数据库系统 "数据库系统.pdf"讨论了数据存储和管理的核心概念,包括关系型数据库、NoSQL数据库等。对数据库的理解是系统架构师设计高...
架构师需要具备很好的综合素养,能够与相关干系人协作,达成项目目标。 在互联网+的时代,架构师需要具备技术开源化、产品敏捷化、服务全网化、系统复杂化和人力高效化等特征。 架构师需要能够快速学习和应用新...
《一线架构师实践指南》是一本专为有志于或已经在IT行业中担任架构师角色的专业人士准备的电子书籍。该书旨在提供实用的、一线的架构设计与实施经验,帮助读者提升自己的专业技能,理解并解决实际工作中遇到的挑战。...
这门课程旨在为有志于成为Java高级架构师的同学提供全面的知识体系和实战经验。课程涵盖了Java EE框架、微服务架构、性能优化、安全性等领域,并通过案例分析和项目实践,帮助学员深入理解并掌握高级架构设计与实施...
《系统架构师考试培训讲义-2018》则是针对2018年度的考试培训材料,可能会详细解析当年的考试大纲,提供详尽的讲解和实例,帮助考生更好地理解考试内容和要求。 这些教程和讲义的综合学习将涵盖以下几个核心知识点...
奈xue-P7架构师完结(56.24G) 〖课程介绍〗: 奈xue-P7架构师完结(56.24G) 〖课程目录〗: ├─p7架构师/ b+ b' R5 q6 Z; I2 Y; a- s N7 X/ R' x │ 00架构师训练营一期开班典礼.mp4: ]% m) G, o0 U- F │ ...
软件架构师作为一个专业领域的高级职位,其核心职能包括确保软件系统的稳定性、可扩展性和安全性等。根据提供的文件内容,软件架构师应该了解的知识和技能是多维度的。以下是对文件内容中提到的关键知识点的详细阐述...