阅读更多

8顶
0踩

数据库
BigQuery是Google于2011年底正式推出的一项Web服务,通过该服务,开发者可以使用Google的架构来运行SQL语句对超大型的数据库进行操作。即BigQuery可以对开发者上传的超大型数据进行直接交互式分析,开发者无需投资建立自己的数据中心。

今天,谷歌升级了BigQuery,带来了更强大的功能,比如更大的查询范围、新的数据类型、更灵活的表结构、更好的分析工具等。具体如下。


1.  Big JOIN 和 Big Group Aggregations

从多个庞大的数据集中提取信息是非常具有挑战性且非常耗时,如果你的数据过大(TB级别),往往需要复杂的MapReduce工作流、并需要为基础设施投入大量的资金和时间。

新版本BigQuery中带来了一个新的功能,使得分析师和开发者可以在数据库中更快地运行类似SQL的连接和聚合查询,而无需分批次处理。Big JOIN功能可以通过公共key合并两个大型数据表,并产生一个结果集,大大简化了数据分析工作。

对于分组查询,可以使用新的Big Group Aggregations功能,允许开发者在结果集分组中包含更多的值。

要使用这些新功能,只需在JOIN或GROUP BY字句中加上EACH修饰符。更多信息:BigQuery query reference

/* JOIN EACH example 
* Selects the top 10 most edited Wikipedia pages
* of words that appear in works of Shakespeare.
*/

SELECT
 TOP(wiki.title, 10), COUNT(*)
FROM
 [publicdata:samples.wikipedia] AS wiki
JOIN EACH
 [publicdata:samples.shakespeare] AS shakespeare
ON
 shakespeare.word = wiki.title; 

2.  对TIMESTAMP数据类型的原生支持

新版本中增加了TIMESTAMP数据类型,该类型允许开发者导入日期和时间值的同时保留时区偏移信息。此外,还增加了一些函数,用于将TIMESTAMP字段转换为其他格式、计算间隔、提取部分值(小时、星期、时刻等)。更多信息:query reference#timestamp

/* TIMESTAMP example
* Which hours in the day are the most popular for GitHub actions?
* This query converts github_timeline "created_at" date time   
* strings to BigQuery TIMESTAMP, and extracts the hour from each.
*/

SELECT
 HOUR(TIMESTAMP(created_at)) AS event_create_hour,
 COUNT(*) AS event_count
FROM
 [publicdata:samples.github_timeline]
GROUP BY
 event_create_hour
ORDER BY
 event_count DESC; 

3.  添加列到现有BigQuery表格

要使用此功能,只需提供一个新的模式和列数据,并使用BigQuery API方法“Tables: update”或“Tables: patch”即可。更多信息:BigQuery API reference

4.  BigQuery Web UI:数据集链接和数据集共享通知

这提供了一个便捷的方式,使得授权用户可以快速访问数据集,并允许标记和共享。此外,还增加了电子邮件通知,以告知用户他们已经获得了数据集的访问权限。



详细信息:BigQuery gets big new features to make data analysis even easier
  • 大小: 31.2 KB
  • 大小: 23.2 KB
8
0
评论 共 4 条 请登录后发表评论
4 楼 freezingsky 2013-03-19 14:05
cuiyushan3 写道
shuhen2011 写道
可惜Google懂不懂就被墙,不然的话可以为小企业节约多少成本啊。百度那玩意儿就知道黑心搂钱,不管别人死活


https://www.google.com.hk/
这样试试还会被墙吗

这个网址天天用,但是经常卡线,要么就是404.
3 楼 cuiyushan3 2013-03-19 09:22
shuhen2011 写道
可惜Google懂不懂就被墙,不然的话可以为小企业节约多少成本啊。百度那玩意儿就知道黑心搂钱,不管别人死活


https://www.google.com.hk/
这样试试还会被墙吗
2 楼 freezingsky 2013-03-18 22:48
google被压制得无语了,动不动就是没法打开,或者访问超时。娘的!逼得我一定要用百度,百度不行,还得去找bing。
1 楼 shuhen2011 2013-03-18 16:34
可惜Google懂不懂就被墙,不然的话可以为小企业节约多少成本啊。百度那玩意儿就知道黑心搂钱,不管别人死活

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Solr使用记录【一】

    我这次用的solr是4.10.3 分词器是这个 这是第一次使用solr,更多的都是通过网上的文章和请教别人完成的。 Solr,我理解为就是一个数据库,其中的collection相当于一张表,document相当于一条记录,filed相当于一个...

  • !求指导!求解惑:Solr4.3纠错(已解决)

    这两个星期菜鸟一直在看solr纠错的配置,发现很多让人崩溃的地方,想请教大家的配置情况以及改进意见~ 看到的大神们欢迎留言,啊,不,是一定要留言,不胜感激 以下是我在solrconfig.xml里面的配置 <...

  • 【杂谈】Solr的自动聚类carrot2和facet关系和比较

    请教个问题,有谁用过solr的自动聚类吗? 何达(25073021) 11:47:33 自动聚类carrot2这种效果很一般,还不如facet,想效果好得自己做 不和企鹅聊天(547317812) 11:48:12 自己做?复杂吗? 何达(25073021) 11:48:...

  • 搜索技术之我不懂的东西?

    那个谁,我这里现在有个问题要请教下你,这边有个站,客户要加个需求,就是需要一个搜索的功能,大概搜索的属性差不多有50个左右,不多,没有淘宝那么复杂,比如,我一个冰箱,总有型号吧,根据型号这样子去查找,...

  • 面试及总结3

    GG似乎对Search和sort很感兴趣,于是接着深入询问了solr建立、排序等细节问题,于是我把我曾经负责的工作,如Analyzer分词、语义分析;document全文通过field字段建立索引及存储;用户Search parser的string分词抽取...

  • 百度面试及总结3

    GG似乎对Search和sort很感兴趣,于是接着深入询问了solr建立、排序等细节问题,于是我把我曾经负责的工作,如Analyzer分词、语义分析;document全文通过field字段建立索引及存储;用户Search parser的string分词抽取...

  • 搜索,推荐,广告系统架构及算法技术资料大合集吐血整理——2020年终分享

    萌新想请教一下 特征选择 的问题 实时计算引擎在贝壳的应用与实践 今日头条在消息服务平台和容灾体系建设方面的实践与思考 推荐系统中模型训练及使用流程的标准化 知识图谱与语义分析技术介绍(附前沿论文...

  • 百度+京东+美团Java面经合集

    一个有三次面试,前面两次是技术面,要求手写代码(面试官是会发一个网址,在里面写的内容会同步到面试官的电脑),问的问题超多,一个半小时左右,第三次是BOSS面,也会问技术问题,因为面试完后没有做记录,所以可能...

  • NLP自然语言处理干货贴

    摘要:摘要:本篇是本人在Solr的基础上,配置了中文分词器,并对其进行的性能测试总结,具体包括使用mmseg4j、I... 47.Getting Started with TextBlob 摘要:TextBlob is a new python natural language ...

  • 大学四年到阿里技术专家,我是怎么走过来的

    你可能会接触到Logstash,Canal等中间件,然后发现可视化也是个问题,那Kibana就应运而生,用的时候发现欧洲人的分词习惯跟我们不一样,那Ik中文分词器又得了解啦。 使用之后你还会发现他底层的Lucene有很多坑要怎...

  • elasticsearch 构建企业级搜索探讨

    显然光靠技术是解决不了问题的,虽然我们有 Elasticsearch、Solr 这样的底层技术支持,但它们更多的还是作为技术人员的核心工具,单靠这些无法实现用户的业务价值。 我们需要结合领域知识、用户的业务去搭建一个...

  • webmagic采集CSDN的Java_WebDevelop页面

    java web上传文件功能的问题, solr高亮问题, java web上传文件到项目里自动刷新项目后才能读取到, 求教一个手机网站开发问题, 用MyEclipse做图书管理系统出现HTTP Status 500 - , 新人请教个jsp传值给servlet的问题...

  • TinySpider开源喽~~~

    phpstorm中使用搜狗输入中文出现乱行问题怎样解决? Android中如何实现快播中娱乐风向标的效果 使用java做手机后台开发! Chrome 29 的alert对话框好漂亮,有木有啊有木有 Eclipse+ADT+Android环境配置...

  • 构建网络爬虫?so easy

    phpstorm中使用搜狗输入中文出现乱行问题怎样解决? Android中如何实现快播中娱乐风向标的效果 使用java做手机后台开发! Chrome 29 的alert对话框好漂亮,有木有啊有木有 Eclipse+ADT+Android环境配置...

  • TinySpider开源喽

    请教 solr query分词查询,结果为空的问题 这段代码有问题吗,怎么我运行报错? jquery mobile 页面中切换闪屏问题 你帮我改好,我给你讲个笑话可好TUT asp.net问题:Js如何获取cookie中的值? android 电话拦截并...

  • spring-ai-spring-boot-autoconfigure-1.0.0-M5.jar中文文档.zip

    # 【spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip】 中包含: 中文文档:【spring-ai-spring-boot-autoconfigure-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址:【spring-ai-spring-boot-autoconfigure-***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖:【spring-ai-spring-boot-autoconfigure-***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖:【spring-ai-spring-boot-autoconfigure-***.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址:【spring-ai-spring-boot-autoconfigure-***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字: spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip,java,spring-ai-spring-boot-autoconfigure-***.jar,org.springframework.ai,spring-ai-spring-boot-autoconfigure,***,org.springframework.ai.autoconfigure.anthropic,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,springframework,spring,ai,boot,autoconfigure,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压 【spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip】,再解压其中的 【spring-ai-spring-boot-autoconfigure-***-javadoc-API文档-中文(简体)版.zip】,双击 【index.html】 文件,即可用浏览器打开、进行查看。 # 特殊说明: ·本文档为人性化翻译,精心制作,请放心使用。 ·只翻译了该翻译的内容,如:注释、说明、描述、用法讲解 等; ·不该翻译的内容保持原样,如:类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示: (1)为了防止解压后路径太长导致浏览器无法打开,推荐在解压时选择“解压到当前文件夹”(放心,自带文件夹,文件不会散落一地); (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件; # Maven依赖: ``` <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-spring-boot-autoconfigure</artifactId> <version>***</version> </dependency> ``` # Gradle依赖: ``` Gradle: implementation group: 'org.springframework.ai', name: 'spring-ai-spring-boot-autoconfigure', version: '***' Gradle (Short): implementation 'org.springframework.ai:spring-ai-spring-boot-autoconfigure:***' Gradle (Kotlin): implementation("org.springframework.ai:spring-ai-spring-boot-autoconfigure:***") ``` # 含有的 Java package(包): ``` org.springframework.ai.autoconfigure.anthropic org.springframework.ai.autoconfigure.azure.openai org.springframework.ai.autoconfigure.bedrock org.springframework.ai.autoconfigure.bedrock.anthropic org.springframework.ai.autoconfigure.bedrock.anthropic3

  • 50页-道路环卫保洁服务项目管理计划方案.pdf

    在当今智慧城市的建设浪潮中,智慧环卫作为城市管理的重要组成部分,正以其独特的魅力引领着环卫行业的变革。本方案旨在通过一系列高科技手段,如物联网、大数据、云计算等,全面提升环卫作业效率与管理水平,为城市居民创造更加清洁、宜居的生活环境。 一、智慧环卫系统概述与核心亮点 智慧环卫系统是一个集机械化保洁、垃圾清运、设施管理、事件指挥调度等多功能于一体的综合性管理平台。其核心亮点在于通过高精度定位、实时监控与智能分析,实现环卫作业的精细化管理。例如,机械化保洁管理子系统能够实时监控机扫车、洒水车等作业车辆的运行状态,自动规划最优作业路线,并根据作业完成情况生成考核评价报表,极大地提高了作业效率与服务质量。同时,垃圾清运管理子系统则通过安装GPS定位设备和油量传感器,对清运车辆进行全方位监控,确保垃圾清运过程的规范与高效,有效解决了城市垃圾堆积与随意倾倒的问题。此外,系统还配备了垃圾箱满溢报警系统,通过智能感应技术,当垃圾箱内垃圾达到预设高度时自动报警,提醒作业人员及时清运,避免了因垃圾满溢而引发的居民投诉与环境污染。 二、智慧环卫系统的趣味性与知识性融合 智慧环卫系统不仅实用性强,还蕴含着丰富的趣味性与知识性。以餐厨垃圾收运管理子系统为例,该系统通过为餐厨垃圾收运车辆安装GPS定位、车载称重、视频监控等多种感知设备,实现了对餐厨垃圾收运过程的全程监控与智能管理。作业人员可以通过手机APP实时查看车辆位置、行驶轨迹及收运情况,仿佛在玩一场现实版的“垃圾追踪游戏”。同时,系统还能自动生成餐厨垃圾收运统计报表,帮助管理人员轻松掌握收运量、违规情况等关键数据,让数据管理变得既科学又有趣。此外,中转站视频监控子系统更是将趣味性与实用性完美结合,通过高清摄像头与双向语音对讲功能,实现了对中转站内外环境的实时监控与远程指挥,让管理人员足不出户就能掌控全局,仿佛拥有了一双“千里眼”和一对“顺风耳”。 三、智慧环卫系统的未来展望与社会价值 随着科技的不断进步与智慧城市建设的深入推进,智慧环卫系统将迎来更加广阔的发展前景。未来,智慧环卫系统将更加注重数据的深度挖掘与分析,通过大数据与人工智能技术,为城市环卫管理提供更加精准、高效的决策支持。同时,系统还将加强与其他城市管理系统的互联互通,实现资源共享与协同作战,共同推动城市管理的智能化、精细化水平。从社会价值来看,智慧环卫系统的推广与应用将有效提升城市环境卫生质量,改善居民生活环境,提升城市形象与竞争力。此外,系统还能通过优化作业流程、减少资源浪费等方式,为城市可持续发展贡献重要力量。可以说,智慧环卫系统不仅是城市管理的得力助手,更是推动社会进步与文明发展的重要力量。

  • 微信小程序驾校管理平台约车小程序demo完整源码下载-完整源码.zip

    微信小程序驾校管理平台约车小程序demo完整源码下载_完整源码

  • MATLAB实现含风电不确定性的电力系统低碳调度模型

    内容概要:本文详细介绍了使用MATLAB和YALMIP工具包构建的电力系统低碳调度模型。该模型主要解决风电和负荷不确定性带来的挑战,采用模糊机会约束处理风电预测误差,将复杂的非线性约束转化为混合整数线性规划问题。文中展示了如何通过分段线性化、大M法等技巧提高求解效率,并实现了包括火电、水电、风电、储能等多种能源类型的综合调度。此外,还讨论了碳排放成本、启停时间约束、爬坡率约束以及储能系统的建模方法。最终,通过结果可视化展示各成本构成及其对调度策略的影响。 适合人群:从事电力系统优化研究的专业人士,尤其是熟悉MATLAB编程并希望深入了解低碳调度模型的研究人员和技术人员。 使用场景及目标:适用于需要处理风电不确定性、优化电力系统调度的研究项目。目标是降低电力生产成本的同时减少碳排放,确保电力系统的稳定性和经济性。 其他说明:代码中包含了详细的注释和扩展提示,方便进一步修改与应用。对于大规模电力系统调度问题,提供了高效的求解策略和性能优化建议。

  • OFDM、OOK、PPM、QAM 的误码率模拟【绘制不同调制方案的误码率曲线】附Matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

Global site tag (gtag.js) - Google Analytics