`
senvon
  • 浏览: 37214 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

轻量级OLAP分析工具发布

阅读更多

 

分析工具详细介绍

基本信息

用户的数据展示需求是多种多样的,我们的分析工具不能100%的满足所有的展示需求。但是我们希望通过我们的分析工具的20%的代码来满足用户数据展示的80%的需求,同时我们对剩下20%的需求提供自定义接口,允许用户进行自定义开发。

我们的分析工具是一套轻量级基于统计数据的数据查看工具。

· 轻量级、寄生式系统

· 跨数据库平台,跨操作系统,跨浏览器

· 支持OLAP样式的数据展示格式

· 图形支持

· 和用户的交互性较好

分析工具与其他工具的区别

优点

缺点

分析工具

数据展示格式灵活

能更大程度上满足用户的数据需求

带有图形展示

支持的数据量最大不要超过2千万

报表工具

展示能支持更加复杂的数据格式

展示格式固定

一般不带图形展示

缺乏和用户的交互

OLAP工具 

重量级数据查看

大数据量的支持很好

目前还没有跨数据库产品的OLAP产品出现

OLAP使用的CUBE的转换效率比较低,维护所需要的技术门槛高

功能展示

总体页面


用户界面介绍

维度输入选择

以最大程度减少用户输入为原则,分析工具提供多种维度输入组件.

日期选择框



 树形选择框


普通多选组件



 单选组件



 对比框输入:对比框是分析工具实现多层次数据展示的灵魂组件,通过多tab的多选择项,我们的数据就会按照相应的顺序进行下钻.



 多指标的数据展示



 多维度多层次数据展示



 图形选择框

可以在图形选择框上选择所要查看的图形,选择查看的指标,选择对应的数据


多指标的折线图



 多层次的图形展示



单层次的图形展示 


分析配置界面介绍

数据源配置:支持目前主流的4种数据库(Oracle,MsSql,DB2,Mysql)



 表信息的元数据配置,用来描述表的元信息数据.支持视图,多种模板表策略



 维度配置



 分析配置

分析基本信息配置:设置分析的访问表,视觉布局以及可能涉及到的二次开发配置



 分析的指标配置:配置指标展示的中文标识,结算别名,指标对应的列,指标的合计方式,指标的单位,数据格式等信息.



 分析的维度应用配置:配置维度对应的列,维度的操作符,维度的展示组件,组件展示的参数等信息



 分析的结果集计算配置:配置结果集的计算公式,数据展示格式等信息


更多信息请关注www.groob.net

 

  • 大小: 106.6 KB
  • 大小: 37.8 KB
  • 大小: 29.2 KB
  • 大小: 21.9 KB
  • 大小: 19.5 KB
  • 大小: 42.3 KB
  • 大小: 19.9 KB
  • 大小: 20.3 KB
  • 大小: 20.9 KB
  • 大小: 44.9 KB
  • 大小: 63.6 KB
  • 大小: 48.3 KB
  • 大小: 22.7 KB
  • 大小: 23.7 KB
  • 大小: 33.2 KB
  • 大小: 13.8 KB
  • 大小: 14.8 KB
  • 大小: 47.4 KB
  • 大小: 13 KB
分享到:
评论
5 楼 senvon 2014-09-19  
novembersky 写道
xcl1984611 写道



mondrain对数据源的sql支持要求比较高,大数据实时查询的数据库大多不能支持完备的sql语法呀


在做这个东西之前,确实研究过一点mondrain,后来发现里面的代码比较差劲,另外作为mondrain的好基友----jpivot ,那个展示真不是一般人看的

另外上面同学说的,mondrain的效率太差,不但是sql支持有问题,另外mondrain把大量的数据都是加载到内存,用内存来做cube,导致运行一个cube基本服务器就废了

要想自己的元数据层和真实的数据库同步,中间的etl过程一定要包含元数据的解析
我在公司的时候,顺手写了个etl,是整个数据生产线上的一环,下次有机会,我把etl开源出来
4 楼 novembersky 2014-08-14  
xcl1984611 写道
居然碰到一个和我工作这么类似的家伙了,为了回复,好不容易通过邮件找回了这个已经遗忘了快4年的JavaEye的ID,真的觉得咱么做的东西这么有缘

你应该是负责后台数据处理的吧,这点和我完全一致啊,这个产品的最大卖点,其实还是无需建cube的即时分析,当初我也是这么做的,通过类BO的语义层的定义,建立出数据的关联关系.界面上拖拽维度和指标,根据定义态的表头树形结构,生成left join的group语句,形成一个小的数据集合面从聚集后的小数据集中(伪Cube)取数,通过这种方式把数据处理的重担压在了数据库端,当时整个功能都实现了,后来因为一些原因(薪资,团队),我离开了。

离开后,我找了家靠谱点的公司,还是做这方面的工作,不过已经转向了OLAP实现方向,后端用的mondrian,就目前的感觉来看,真心建议你用mondrian替掉数据聚集这一部分,jpivot的前后端数据模型转换部分及数据展现部分,可以自己接手替掉,mondrian已经挺成熟的了,至于不用建cube就分析这点,即席分析这条路已经足够了,动态元数据+分析主题自动化。

就目前我的一点观点:

自己的展现界面(web,cs,手机,pad)+自己的展现模型层+olap层(mondrain)+自己的语义层+自己的元数据层

这条路可以提供一个完整的BI技术平台 (etl和数据挖掘这个完全可以直接拿开源的来后续整合)






mondrain对数据源的sql支持要求比较高,大数据实时查询的数据库大多不能支持完备的sql语法呀
3 楼 xcl1984611 2012-11-24  
xcl1984611 写道
居然碰到一个和我工作这么类似的家伙了,为了回复,好不容易通过邮件找回了这个已经遗忘了快4年的JavaEye的ID,真的觉得咱么做的东西这么有缘

你应该是负责后台数据处理的吧,这点和我完全一致啊,这个产品的最大卖点,其实还是无需建cube的即时分析,当初我也是这么做的,通过类BO的语义层的定义,建立出数据的关联关系.界面上拖拽维度和指标,根据定义态的表头树形结构,生成left join的group语句,形成一个小的数据集合面从聚集后的小数据集中(伪Cube)取数,通过这种方式把数据处理的重担压在了数据库端,当时整个功能都实现了,后来因为一些原因(薪资,团队),我离开了。

离开后,我找了家靠谱点的公司,还是做这方面的工作,不过已经转向了OLAP实现方向,后端用的mondrian,就目前的感觉来看,真心建议你用mondrian替掉数据聚集这一部分,jpivot的前后端数据模型转换部分及数据展现部分,可以自己接手替掉,mondrian已经挺成熟的了,至于不用建cube就分析这点,即席分析这条路已经足够了,动态元数据+分析主题自动化。

就目前我的一点观点:

自己的展现界面(web,cs,手机,pad)+自己的展现模型层+olap层(mondrain)+自己的语义层+自己的元数据层

这条路可以提供一个完整的BI技术平台 (etl和数据挖掘这个完全可以直接拿开源的来后续整合)


另外 有兴趣的话,可以给我发email,交个朋友吧.  xietengfeijava@gmail.com



2 楼 xcl1984611 2012-11-24  
居然碰到一个和我工作这么类似的家伙了,为了回复,好不容易通过邮件找回了这个已经遗忘了快4年的JavaEye的ID,真的觉得咱么做的东西这么有缘

你应该是负责后台数据处理的吧,这点和我完全一致啊,这个产品的最大卖点,其实还是无需建cube的即时分析,当初我也是这么做的,通过类BO的语义层的定义,建立出数据的关联关系.界面上拖拽维度和指标,根据定义态的表头树形结构,生成left join的group语句,形成一个小的数据集合面从聚集后的小数据集中(伪Cube)取数,通过这种方式把数据处理的重担压在了数据库端,当时整个功能都实现了,后来因为一些原因(薪资,团队),我离开了。

离开后,我找了家靠谱点的公司,还是做这方面的工作,不过已经转向了OLAP实现方向,后端用的mondrian,就目前的感觉来看,真心建议你用mondrian替掉数据聚集这一部分,jpivot的前后端数据模型转换部分及数据展现部分,可以自己接手替掉,mondrian已经挺成熟的了,至于不用建cube就分析这点,即席分析这条路已经足够了,动态元数据+分析主题自动化。

就目前我的一点观点:

自己的展现界面(web,cs,手机,pad)+自己的展现模型层+olap层(mondrain)+自己的语义层+自己的元数据层

这条路可以提供一个完整的BI技术平台 (etl和数据挖掘这个完全可以直接拿开源的来后续整合)




1 楼 jetliu1987 2011-11-12  
楼主的这个东西我蛮感兴趣的,现在我主要开发ETL工具,有机会交流一下。

相关推荐

    sql server客户端连接工具

    7. **SQL Server Analysis Services (SSAS)**:用于构建多维数据模型和报表,支持在线分析处理(OLAP)和数据挖掘。 8. **SQL Server Reporting Services (SSRS)**:提供报表设计和发布功能,允许用户创建各种类型...

    saiku-server-foodmart-3.9-RC2.zip

    Saiku,作为一个轻量级的在线分析处理(OLAP)分析引擎,自推出以来就因其强大的功能和易于扩展性而备受瞩目。Saiku Server是其核心组成部分,允许用户通过RESTful接口连接到各种OLAP系统,提供直观的数据分析体验。...

    梳理的一些java开发中用上的框架和开发工具,肯定会遗漏,欢迎补充

    Jetty 是一个轻量级的Java Servlet容器,适合于嵌入式应用以及开发测试环境。 - **JBoss**: 框架。JBoss AS (Application Server) 是一个全功能的应用服务器,提供了EJB、JMS、HTTP、HTTPS等服务。 - **Resin**: ...

    Python-的主流框架.doc

    #### Cubes:轻量级 Python OLAP 框架 - **定义与特点**:Cubes 是一个用于多维数据分析和聚合数据浏览的 Python 框架。 - **应用场景**: - 数据分析:支持复杂的多维分析,满足商业智能需求。 - 数据汇总:从...

    Python的主流框架.docx

    6. Cubes:Cubes是一个轻量级的Python在线分析处理(OLAP)框架,用于多维数据分析和聚合数据浏览。它通过逻辑模型抽象物理数据,为终端用户提供更直观的分析工具。 7. Kartograph.py:这是一个用于生成矢量地图的...

    cboard官方手册

    整个平台的特点是界面简单美观、架构轻量级,并且代码简洁,不依赖任何第三方多维分析工具。此外,CBoard支持近实时的数据刷新,其刷新级别是数据立方体级别而不是整个看板。 CBoard的主要功能包括: - 简洁美观的...

    本项目为SWPU数据库原理及应用大作业《西柚外卖订餐系统》,基于Python+Flask+MySQL开发,轻量简洁.zip

    嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富功能集和庞大社区支持等特点,成为现代数据管理领域中不可或缺的一部分,适用于各种行业和...

    使用seatunnel同步Kafka的数据到clickhouse(保姆级)

    Seatunnel是一个轻量级的数据集成框架,支持多种数据源和数据目标。它提供了丰富的数据转换插件,可以方便地进行数据清洗、转换和加载。在本场景中,Seatunnel作为数据同步工具,负责从Kafka中读取数据并将其写入...

    sqlserver基础培训重点.pptx

    企业版适用于大型企业作为核心数据库服务器,标准版适合小型工作组和部门,个人版则用于轻量级数据存储。在硬件要求方面,SQL Server 2000需要Intel兼容的处理器,至少166MHz的奔腾处理器,内存需求根据版本不同从32...

    SQL2005客户端

    SSMSEE是一个轻量级版本的SQL Server Management Studio,专为SQL Server Express Edition设计。虽然功能相对完整版SSMS有所精简,但它仍能提供基本的数据库管理和开发功能,适合小型企业和个人开发者使用。 SQL ...

    小型数据库SQL2000

    **SQL Server 2000**,全称为Microsoft SQL Server 2000,是由微软公司推出的一款关系型数据库管理系统(RDBMS),在当时因其轻量级、易操作和功能强大而备受青睐,尤其适合中小型企业或作为开发和测试环境使用。...

    filebeat+kafka+clickhouse+springboot框架搭建及应用

    **Filebeat**是Elasticsearch公司开发的日志收集工具,它轻量级且易于配置,可以监控并转发服务器上的日志数据。在`filebeat-8.8.2-linux-x86_64`这个压缩包中,包含了Filebeat的Linux x86_64版本,用于在Linux环境...

    麒麟V10高级服务器版本安装包合集:chproxy,clickhouse,keepalived,redis;离线安装包合集

    chproxy 是一个轻量级的代理服务器,主要用于在应用层处理到ClickHouse数据库的连接。它能够优化和负载均衡对ClickHouse的数据查询请求,支持多种认证方式,并可以提供额外的日志和监控功能,从而提高整体系统的...

    迷你SQL2000 V1.30 版本

    总的来说,迷你SQL2000 V1.30为那些不需要大型数据库系统复杂功能的用户提供了一个轻量级解决方案,同时也为初学者提供了一个学习SQL Server基础知识的平台。尽管它可能没有完整版的强大功能,但对于特定的应用场景...

    SQLServer2005

    - SQL Server Management Studio Express(SSMSEE)是SQL Server 2005的一个轻量级版本,它提供了对SQL Server数据库的基本管理、查询和开发功能。"SQLServer2005_SSMSEE.msi" 文件应该是SSMSEE的安装程序,用户...

    数据库技术与应用SQL Server2008 课件 第4章 SQL Server 2008系统概述.ppt

    7. Compact Edition(移动版):轻量级数据库,用于移动设备或嵌入式系统,提供数据存储和查询功能。 SQL Server 2008的主要技术和管理工具包括: 1. Transact-SQL(T-SQL):用于查询、更新和管理数据库的标准SQL...

    基于SAP HANA内存计算的工业物联网云计算解决方案.pdf

    它包括轻量级应用和个性化功能定制,使得开发即部署成为可能。HCP的核心优势在于稳定和可靠性,提供较长的发布周期、稳定的性能和复杂的架构。 HCP的基础架构包括丰富的基础设施服务、数据库服务和应用服务,支持新...

    MSDE2000RelA2017.rar

    这个压缩包可能包含了该数据库引擎的安装程序和其他相关文件,用于在个人计算机或小型系统上部署SQL Server 2000的一个轻量级版本。 【描述】"数据库 2000" 指的是Microsoft SQL Server 2000,这是一款由微软公司...

    Oracle9i客户端精简版

    Oracle9i客户端精简版是Oracle公司为数据库用户提供的轻量级访问工具,它主要针对那些只需要进行基本数据库连接和查询操作的用户。这个版本在保留核心功能的同时,尽可能减少了安装体积,使得下载和安装更加便捷。...

Global site tag (gtag.js) - Google Analytics