马如悦,百度大数据部主任架构师,负责百度分析型数据库方向和在线数据服务架构方向。 在大会召开前夕,笔者有幸采访到了马如悦,请他分享Palo在百度内部的应用实践。在他看来,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师。
值得一提的是,在2015年11月19-21日召开的SDCC 2015(软件开发者大会)上,马如悦将在新一代数据库调优实战论坛中带来《Palo分析型数据库在百度内的应用实践》的主题分享,欢迎前来现场聆听【点击这里抢票】。
马如悦
CSDN:首先请简单介绍下自己、公司以及目前所负责的领域。
马如悦:我当前在百度大数据部,负责百度在线数据服务架构团队,我们团队主要为公司提供在线高性能数据访问服务,包括3个产品方向,一个是SimpleDB方向,主要存储KV类型的数据,满足高并发的一些在线查询需求,很多数据通过离线批量和实时导入;另一个是SqlDB方向,主要作为结构化的数据分析数据库,内部产品名称为Palo;另一个是SearchDB方向,主要作为对非结构化的数据分析数据库。
CSDN:目前百度主要使用的数据库有哪些?他们各自的优势是什么?
马如悦:OLTP的主要是分布式MySQL、NoSQL,百度有自己研发的MolaDB,OLAP的主要使用Palo。
CSDN:百度自主研发的分析型数据库Palo主要承担着怎样的角色?它的主要特性是什么?其开发架构是怎样的?适合什么样的开发场景?
马如悦:Palo是一套面向大规模数据分析的并行数据库系统。主要目标是支撑稳定的、在线的、交互式的数据报表(Reporting)和数据多维分析(OLAP)服务。Palo 的一个很大的特色是:将会满足报表和OLAP分析这两类不同的需求。
Palo在整个分析体系中所承担的是数据库的角色,只是这个数据库是并行的、面向分析的数据库系统。然后在这个数据库系统上,通过支撑现有的(BIEE、Pentaho等)或者百度自己研发的BI应用套件来提供全套的报表和分析应用。
Palo单一系统,即可解决Impala+HDFS,Sparksql+HDFS,Impala+HBase,传统分析数据库Greenplum等,Google dremel、 Google mesa, 以及当前最新的Impala+Kudu。用户可以使用一个Palo,上面的所有需求都可满足,这就是Palo最大的不同。Palo的核心特点就是通用性要好一些,部署简单易用。
CSDN:在开发Palo期间没有遇到过困难点?又是如何克服的?你们目前的开发团队有多少人?
马如悦:Palo开发期间遇到的最大困难就是周边很多人不认可这个方向,认为使用Impala + HDFS/HBase,或者Sparksql就能解决问题。但是我们还是坚信这些开源的方案不是特别理想,比如部署复杂,依赖过多,性能不高等等,所以最后我们还是相信了自己内心,没有使用蹩脚的开源技术。事后,从Cloudera公司当前开始研发Kudu,可以看到,我们的当初选择领先了社区2到3年。
我们的团队当前有7,8人投入Palo开发。
CSDN:你目前还会关注哪些新技术?
马如悦:目前对Julia语言痴迷,具有Python的简单,有C语言一般的执行速度,有R语言一样的数据分析库支持,也满足很多对函数编程人的幻想,我坚信Julia在5年内势必成为数据分析事实上的语言。Julia和Spark的结合是我当前正在努力做得一些事情,我一直认为Spark使用Scala是一大错误,期待有一天我实现一个使用Julia编写的Spark。当前的分布式计算技术还是太复杂了,希望未来能简化一些。
CSDN:你认为一名优秀的技术管理者应该具备怎样的素质?
马如悦:优秀的技术管理者要充当两个角色,一个是方向引领者,一个是好的后勤。很多人事实喜欢冲到一线指指点点,那样的话,我认为你是一个好的程序员,但不是一个好的技术管理者。引领好方向,制定好目标,放手让聪明人的人去公关,遇到问题,要给其出谋划策。
CSDN:在你看来技术人如何成长为一名优秀的架构师?
马如悦:记住一点,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师;还有一点,在外演讲多于在公司解决问题的,那根本不是架构师,那是布道师。
CSDN: 在本次SDCC 2015上想分享的话题是?
马如悦:Palo的实践体会。
CSDN:你最期待在本次SDCC 2015上听到哪些内容?
马如悦:其它公司都是怎么解决分析型数据库这些问题的。主要想听听大家踩过的坑,以及当前的痛点。
相关推荐
测试架构师在软件开发行业中扮演着至关重要的角色。从简单的测试执行者到架构师级别的测试专家,职业晋升的道路上充满了挑战与机遇。《测试架构师修炼之道:从测试工程师到测试架构师1》这本书,就是为了指引那些...
架构师的核心价值并不仅仅在于掌握多少先进技术,而是体现在将一个大系统切分成多个低耦合子模块的能力上。这些子模块既包括横向的业务模块,也包括纵向的基础技术模块。这种能力不仅源于架构师的专业技术知识和经验...
### 架构师—企业的未来 #### 一、架构师的角色与存在意义 在《2009系统架构师大会PPT:吴静涛:架构师–企业的未来》这一演讲中,吴静涛先生作为F5中国区的技术总监,深入探讨了架构师在企业中的重要作用及其面临...
资料及代码 一、互联网并发编程 五、数据库设计与优化 四、Linux部分 三、JAVA虚拟机 七、互联网框架应用 六、互联网中间件架构设计 二、互联网网络通信编程 八、互联网分布式综合项目实战
天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接通过天翼云解决方案架构师认证考试。天翼云认证解决方案架构师题库知识点,帮你直接...
它首先定义了架构师的角色,让读者明确架构师不仅仅是技术团队的一员,更是连接业务战略和技术实施的关键桥梁。在这一期中,读者可以学习到系统架构设计的原则,这些原则包括模块化、可扩展性、可维护性以及性能优化...
架构师之路的第一阶段视频教程,百度网盘。需要的拿去................
系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构.png软考:系统架构师1-知识结构...
《架构师成长之路》这本书是为那些志在成为优秀架构师的IT专业人士量身打造的指南。它深入探讨了架构师的角色、职责以及如何在职业生涯中逐步提升自己的技能和视野,以适应快速变化的IT环境。 一、架构师的角色与...
《完整版—架构师之路(58沈剑)》是一份深入探讨软件架构设计与实践的宝贵资料,共计322页,由业界知名专家沈剑编著。这本书旨在为那些希望成为优秀架构师或者正在从事架构工作的专业人士提供一套全面的知识体系和...
8. **面试技巧与职业规划**:对于有志于成为系统架构师的人来说,了解面试常见问题、职业发展路径和提升策略也是必不可少的。 综合这些内容,考生可以系统地学习和准备,提升自己的技术水平,以期在软考中取得优异...
免费视频讲座:2017高级互联网架构师全套视频教程百度网盘 30G! 资料及代码 一、互联网并发编程 五、数据库设计与优化 四、Linux部分 三、JAVA虚拟机 七、互联网框架应用 六、互联网中间件架构设计 二、...
系统架构师是一个在IT行业中至关重要的角色,他们负责设计、规划和实施复杂的计算机系统,以满足业务需求。历年高级系统架构师真题是备考这一专业资格考试的重要参考资料,涵盖了从2009年至2017年的历年试题,旨在...
阅文集团-徐海峰-个人成长:从码农到架构师
《软考架构师配套讲义》是一份针对国家软考(即全国计算机技术与软件专业技术资格(水平)考试)中的架构设计师级别的学习资料。这份压缩包包含了一个名为“软考架构师配套讲义.pdf”的文件,是为准备参加该考试的...
这门课程旨在为有志于成为Java高级架构师的同学提供全面的知识体系和实战经验。课程涵盖了Java EE框架、微服务架构、性能优化、安全性等领域,并通过案例分析和项目实践,帮助学员深入理解并掌握高级架构设计与实施...
《一线架构师实践指南》是一本专为有志于或已经在IT行业中担任架构师角色的专业人士准备的电子书籍。该书旨在提供实用的、一线的架构设计与实施经验,帮助读者提升自己的专业技能,理解并解决实际工作中遇到的挑战。...
全国计算机技术与软件专业技术资格(水平)考试是...最后,除了上述技术方面的知识点外,系统架构师还应当了解行业趋势、技术发展动态和市场环境,这样可以更好地帮助组织把握技术发展方向,对企业的长期战略做出贡献。