`

采用airbnb的airpal和facebook的presto搭建数据平台所遇到的时区,权限问题

阅读更多

airpal_vesion 0.1

presto_version 0.7

 

       上面为什么要说明这两个软件的版本,是因为版本太新,国内用的人不多,这方面学习成本高。标题取名为是所遇到的问题,而不是坑,是因为有些问题在原开发者看来不是bug,大神乐意开源了,才有机会练手。感谢开源。

 

        我这里目前主要解决了两个问题,一是时区问题;二是用户按表分权限操作问题。后续还会修改ui的一些历史记录等问题。如果小伙伴也遇到同样的问题,可以问我,知无不言。

 

        先说明一下这套组合解决了哪些问题:

        简单一句话就是跨库查查询

         具体:

         第一个便是时区问题。        

           原版的是GMT时区,ui展示的是英文,并且查出表如果有时间字段,时间差为8小时,或多余或少余。

 

         

         为了解决这个问题,分了四步走:

         1.修改linux 的tzselect ,硬件时钟与系统时钟都改24小时显

         2.修改前端的显示方式

    

 

3.修改代码timezone.gettimezone,加入8

   

 

4. 启动时候加入timezone的参数为GMT+8

 

时区问题到此解决:

 



 

ps:咱们常习惯的显示

 

第二个问题是用户按权限分配到表

 



 

 

 

总结:这整套知识点不知道是该说是容易还是难。说容易是大神们把产口开发好了。说难是版

 

 

本新,文档说明还不够全面,国内用的人少,一些使用场景还有待改进完善。

       比如:这个平台对mysql的字段,一定要小写。

 

  转载请注明来自hugo

尊重原创的时间成果

 

  • 大小: 2.6 MB
  • 大小: 36.5 KB
  • 大小: 31.8 KB
  • 大小: 230.8 KB
  • 大小: 26.4 KB
0
0
分享到:
评论
4 楼 ronin47 2016-04-09  
在这里roles]
bi = access, read:*:annualchance,
格式是:read:实例.数据库.表名
目前只支持白单方式,后期我打算改成黑名单形式
有问题,你可以加我q,方便回复你
3 楼 zengqiang2006 2016-04-06  
ronin47 写道
是的

嗯    在哪里可以控制配置到库或者表的权限?
2 楼 ronin47 2016-04-06  
是的
1 楼 zengqiang2006 2016-03-22  
这里的用户只有test一个用户,我在resource文件里把这个配置文件修改了,多加一个用户却不能生效。改完配置文件需要重新编译吗?

相关推荐

    AS深圳2017《airbnb数据平台实践》

    标题《AS深圳2017《airbnb数据平台实践》》和描述《AS深圳2017《airbnb数据平台实践》,airbnb数据平台解析》共同表明这是一篇关于Airbnb公司内部数据平台实施经验的分享。 从提供的内容片段中,我们可以梳理出以下...

    Python-AirBnB数据科学家的开放源码策划知识共享平台

    AirBnB作为全球知名的在线短租平台,其背后的数据科学团队在解决业务问题、优化用户体验方面发挥着关键作用。为了促进数据科学领域的知识共享和协作,AirBnB的数据科学家们创建了一个开放源码的策划知识共享平台,...

    数据分析精华案例-Airbnb产品数据分析

    ### 数据分析精华案例-Airbnb产品数据分析 #### 一、分析背景与目的 - **分析背景**:Airbnb自2008年成立以来,在短短9年内迅速成长为短租民宿领域的领头羊,对传统酒店业产生了深远的影响。作为一家在全球191个...

    presto剖析

    - Airbnb:Airpal是基于Presto的一个查询执行工具,它是一个基于Web的查询工具,其经理Christopher Gutierrez表示Presto在大部分用例中比Hive快一个数量级,并且可以直接从HDFS读取数据。 Presto的架构包括以下几个...

    Python-Airbnb开源数据其数据探索和可视化平台Caravel

    **Python-Airbnb开源数据探索和可视化平台Caravel** Caravel是Airbnb开源的一个强大且用户友好的数据探索和可视化工具,它旨在简化数据分析过程,让数据分析师、数据科学家以及业务人员能够快速地理解并利用数据。...

    04纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip

    本项目聚焦于"04纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip",这是一个公开的数据集,其中包含了纽约市Airbnb(一种在线短租平台)在2019年的详细信息,为研究者和分析师提供了丰富的素材进行深入的...

    波士顿 Airbnb 公开数据.zip

    波士顿 Airbnb 公开数据集提供了丰富的信息,可以用于深入了解短租市场的运作模式、价格策略、用户行为以及房源特征等多个方面。这个数据集包含了三个主要的文件:calendar.csv、reviews.csv 和 listings.csv,每一...

    airpal编译后的jar包12

    直接启动Airpal: 1 2 java -server -Duser.timezone=UTC -cp build/libs/airpal-*-all.jar com.airbnb.airpal.AirpalApplication server reference.yml 1 这里可以将命令直接写成脚本,省去每次复制这串很长的命令。...

    airpal编译后的jar包

    启动Airpal 直接启动Airpal: 1 2 java -server -Duser.timezone=UTC -cp build/libs/airpal-*-all.jar com.airbnb.airpal.AirpalApplication server reference.yml 1 这里可以将命令直接写成脚本,省去每次复制这串...

    Presto SQL on Everything

    Presto在许多大型互联网公司中得到了广泛应用,如Facebook、Netflix、Airbnb等,它们使用Presto进行大规模数据的实时分析和报告。 通过阅读《Presto SQL on Everything》这本书,读者将深入理解Presto SQL的工作...

    波士顿 Airbnb 公开数据数据集

    【波士顿 Airbnb 公开数据数据集】 波士顿 Airbnb 公开数据集是一个宝贵的信息资源,它提供了关于共享住宿市场,特别是波士顿地区Airbnb房源的详细信息。这个数据集对于研究者、数据分析爱好者以及对旅游住宿行业感...

    Airbnb New User Bookings 数据集

    Airbnb New User Bookings 数据分析集,包含train.csv,test.csv,session.csv,countries.csv,age_gender_bkts.csv,sample_submission_NDF.csv

    短租数据分析--Airbnb短租数据集-数据集

    标题 "短租数据分析--Airbnb短租数据集-数据集" 涉及的是对Airbnb平台上的短租房源进行分析的数据集。这个数据集包含了关于房源、房东以及评价等多方面的信息,是进行大数据分析、市场研究或者机器学习模型构建的...

    纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip

    纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip纽约Airbnb数据挖掘-new-york-city-airbnb-open-data.zip纽约Airbnb数据挖掘-new-york-city-airbnb-...

    Airbnb 流处理框架

    - **目的**:Airbnb设计并实施了一套名为AirStream的流处理架构,旨在解决实时数据处理中的复杂性问题,特别是针对大规模状态管理和计算的需求。 - **关键组件**:该架构利用了Apache Kafka作为消息中间件,Druid...

    大数据技术分享 Spark技术讲座 Zipline - Airbnb的机器学习数据管理平台 共29页.pdf

    ### 大数据技术分享:Spark技术讲座与Zipline——Airbnb的机器学习数据管理平台 #### 一、概述 在当前大数据与人工智能迅速发展的背景下,企业和组织正面临着如何有效管理和利用海量数据进行机器学习(Machine ...

    藏经阁-Airbnb 的核心日志系统.pdf

    4. 数据应用层:负责将处理后的日志数据提供给业务系统和数据分析平台,以便支撑业务决策和数据分析。 日志系统的挑战 Airbnb 的核心日志系统面临着以下几个挑战: 1. 大规模的日志数据量:Airbnb 的日志系统需要...

    行业数据-2015-2018年Airbnb美国和欧洲人均预订天数.rar

    标题中的“行业数据-2015-2018年Airbnb美国和欧洲人均预订天数”揭示了这个压缩包文件所包含的核心内容:它提供了关于Airbnb平台在2015年至2018年期间,在美国和欧洲地区的人均预订天数的数据。这些数据对于理解...

    NYC-Airbnb-Data-Product:纽约市Airbnb数据的数据分析,可视化和预测

    纽约市-Airbnb-数据产品纽约市Airbnb数据的数据分析,可视化和预测描述该项目分析了2019年从纽约市地区收集的Airbnb数据,该数据的列表范围从私人住宅到房间,邻里,邻里群体,价格等。该项目的目标是创建一个可以...

    Kaggle竞赛-Airbnb 新用户的民宿预定预测-数据集

    在本项目中,我们面临的是一个典型的数据挖掘挑战——预测...同时,深入的业务理解、数据可视化和洞察力也对解决问题至关重要。最后,使用测试集的结果来评估模型的泛化能力,以确保模型在实际应用中也能表现出色。

Global site tag (gtag.js) - Google Analytics