`

论产品的需求与实现系列之数据平台

阅读更多

         产品的需求与实现系列:

         论产品的需求与实现系列之日志系统

         论产品的需求与实现系列之监控系统

         论产品的需求与实现系列之数据平台

         论产品的需求与实现系列之ci持续集成

 

         搭建这一套是一个组合airpal+presto,也就是一个系统,既叫平台,是由于这个组合可以跨不同的数据库操作,比如常见的mysql,redis,hive等。

 

         需求1:开发的同事要看测试库或线上数据库数据

         解决需求1:在数据库建帐号分权限,还要开发同事根据不同的数据库安装不同的客户端,这对于开发的来说,小事一木桩。但是对于运营或是其它非开发的同事,这就是不太好用了了。用phpmyadmin或是lamp组合。

        
         需求2:领导觉得phpmyadmin不安全,不能跨库操作。因为直接给帐号到相关人员手中,不能跨库操作,虽说phpmyadmin是可以配置多个库的,但每次只能登陆一个库。需求是:不能直接给数据库帐号,要能直接跨库操作。在此可能有人会想到mycat 或是otter,来看看mycat的特性。

          

 
         再来看otte的特性:

     

          不管是mycat还是otter,更多的是一种中间件,没有独立的web界面供用户操作sql。

          困此选用了airbnb三大神器之一的airpal和facebook的presto,组成一个组合。airpal提供web界面以及细分到表的权限管理。presto提供跨库执行sql的能力。来看一下界面。

 

       

  

       不过使用这一组合最大不便就是,表的字段要全部小写。airpal提供的表权限管理是基于shiro的白名单方式,使用上说明不是很清晰。

 

        需求3:用户分权限到表

        解决需求3:配置shiro_test_user.ini

       

        需求4:解决airpal界面时区,滚动条,数据返回等问题

        解决需求4:把源码拉下来,通过远程debug方式,追踪问题执行每一过程。详情请看之前写的解决airpal时区问题

 

        airpa开源版本是0.1 ,presto开源版本是0.7,国内用的人不多。有很多小问题

等着去解决 。不过presto的功能确实很强大。

           

 

          总结:从一开始的最基本的需求,到后期上线,随着用户使用,提出更多小需求,在互联网公司做法就是减法,先做核心的,再优化用户使用感受,象滚动条,自动刷新返回数据等。一件产品的成功是否,在于是否有足够的消化能力,既使是开源的方案,也要在单位时间内解决用户的需求。否则就不是一套成功的产品。like the Apple ,Don't make me think!

  • 大小: 11.1 KB
  • 大小: 230 KB
  • 大小: 133.6 KB
  • 大小: 131.2 KB
  • 大小: 122.2 KB
0
3
分享到:
评论

相关推荐

    基于Python的可视化数据分析平台设计与实现.pdf

    在此基础上,可视化数据分析平台的设计与实现成为了一个行业关注的焦点。本文将详细介绍如何基于Python这一强大的编程语言,设计并实现一个功能全面、操作简便的可视化数据分析平台。 首先,Python作为一种高级编程...

    气象数据估值系列白皮书之一:解锁气象数据价值新方程.pdf

    综上所述,气象数据的估值和有效利用是当前亟待解决的问题,而《气象数据估值系列白皮书之一》为此提供了重要的理论依据和实践指南,旨在促进气象数据在更广泛的领域发挥其应有的经济和社会效益。

    数据结构算法设计与实现指导

    算法设计与实现则是数据结构课程的重要组成部分,它涉及到如何用程序来实现这些数据结构以及在它们之上运行的有效算法。 "数据结构算法设计与实现指导"这个标题表明,这是一个针对学习者提供实践指导的资源,可能...

    海洋卫星数据处理系统的设计与实现.pdf

    总结而言,海洋卫星数据处理系统的设计与实现涉及多个方面的技术考量,从数据接收、处理、存储到最终的应用服务,都需要集成众多先进技术与算法。系统要能够处理不同种类、不同来源的数据,并提供一体化的服务。这...

    淘宝海量数据服务平台:架构与实践

    随着电子商务行业的迅猛发展,淘宝作为中国最大的在线购物平台之一,面临着日益增长的数据处理需求。为了更好地管理和利用这些海量数据,淘宝构建了一个全面的数据服务平台。该平台不仅能够高效地处理大量数据,还能...

    EsDataClean数据质量管理平台产品架构.docx

    EsDataClean的产品架构设计充分考虑了数据质量管理的实际需求和技术发展趋势,旨在构建一个稳定可靠、高效易用的数据质量管理平台。具体的架构图请参考文档中的“图1产品架构”。 #### 六、总结 综上所述,...

    数据链路层协议实验系统的设计与实现

    ### 数据链路层协议实验系统的设计与实现 #### 一、引言 随着信息技术的快速发展,计算机网络原理作为计算机科学与技术专业的重要课程之一,在教学过程中面临着诸多挑战。传统的网络实验系统往往侧重于配置观察,...

    企业级数据治理之主数据产品的设计

    总结来说,企业级数据治理中的主数据产品设计是一项复杂而关键的任务,它不仅涉及到技术层面的实现,更需要理解业务需求,平衡成本与效率,以及持续跟踪和适应市场的变化。通过有效的主数据管理,企业能够更好地挖掘...

    基于GIS的国土空间数据应用平台的设计与实现.pdf

    数据资源层通过一系列数据处理步骤,将原始数据转换为可用的信息,满足国土空间规划和监管的需求。 基础支撑服务层利用面向服务的SOA架构,提供了一组标准的IT技术架构和服务组件,使平台能够提供高效的数据服务和...

    STM32单片机FPGA毕设电路原理论文报告51系列单片机中实现dma数据传送

    根据给定文件的信息,我们可以提炼出以下几个主要的知识点:STM32单片机、FPGA技术、毕业设计项目以及在51系列单片机中实现DMA数据传送。 ### STM32单片机 STM32是一款由意法半导体(STMicroelectronics)生产的...

    基于数据挖掘技术的就业信息管理系统设计与实现.pdf

    数据挖掘的研究内容包括基础理论、发现算法、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护与再利用以及网上数据挖掘等。 数据挖掘的特点包括处理的数据规模巨大,查询通常是随机的且可能不精确,...

    SQL Server 2005 BI系列课程(18):数据挖掘在房地产行业的应用(下)——需求实现

    "数据挖掘实践-房地产-需求实现.pdf"可能包含具体的案例研究,展示如何将理论知识应用于实际业务场景。这份文档可能涵盖了以下内容: - 数据准备:如何清洗和整理房地产领域的数据,如房源信息、交易记录、地理位置...

    数据仓库方法论 数据仓库方法论

    在每个实施阶段,Oracle数据仓库方法论都会产出一系列的提交成果,如项目计划、报告、系统安装文档、系统方案文档、数据接口文档等,这些成果对于确保项目按计划进行、监控进度和质量至关重要。 综上所述,数据仓库...

    SQL Server 2005 BI系列课程(16):数据挖掘在电信行业的应用(下)——需求实现

    【SQL Server 2005 BI系列课程(16):数据挖掘在电信行业的应用(下)——需求实现】 在本课程中,我们将深入探讨如何利用Microsoft SQL Server 2005中的商业智能(BI)功能,特别是数据挖掘技术,来解决电信行业的...

    数据压缩算法在单片机上的实现

    数据压缩技术作为数据管理的重要手段之一,在减少数据存储空间需求、降低数据传输成本方面发挥着关键作用。本文旨在探讨数据压缩算法在单片机上的实现,特别是针对海量数据的压缩处理,并介绍了一种基于Huffman编码...

Global site tag (gtag.js) - Google Analytics