`
猫耳呀
  • 浏览: 169877 次
社区版块
存档分类
最新评论

项目owner看这里,MaxCompute全表扫描新功能,给你“失误”的机会

 
阅读更多

摘要: MaxCompute发布了“ALIAS 命令”,提供了在不修改代码的前提下,在MapReduce或自定义函数(UDF) 代码中,通过某个固定的资源名读取不同资源(数据)的需求。

随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据,达到百GB、TB乃至PB级别。

在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。

MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的能力,owner可以不必关心分布式计算细节,便可达到分析大数据的目的,这样一是减轻项目负责人的工作负担,也同时降低了企业对海量数据处理的专业人才成本。

在使用过程中,我们发现用户经常遇到这样的问题,如果一不小心写错了sql,对全表做了扫描,不仅影响效率还会对成本造成损失,因为对全表数据扫描是费用比较高的。

现在,MaxCompute发布了“ALIAS 命令”,提供了在不修改代码的前提下,在MapReduce或自定义函数(UDF) 代码中,通过某个固定的资源名读取不同资源(数据)的需求。

其实通俗的来讲就是允许项目owner对项目进行设置,可以通过允许或不允许来保障这个项目不被做全表扫描,可以节约成本,避免了初次使用MaxCompute的用户或者误操作而对全表做了扫描影响效率和成本发生。如果确实需要对全表扫描,可以把属性这里改为true,完成用户需要的全表扫描的操作。

具体操作如下:
以开关的形式,通过设置允许或禁止全表扫描。true为允许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true

总体来说该功能对于项目owner来说,不仅可以避免资源浪费、控制计算成本,还能灵活应开启全表扫描分区表。
具体操作详情请戳这里:
https://help.aliyun.com/document_detail/27834.html

原文链接

分享到:
评论

相关推荐

    阿里大数据计算服务MaxCompute-入门指南.pdf

    项目空间Owner可以将其他用户加入MaxCompute项目空间中,并授予相对应权限,以便这些用户可以操作MaxCompute中的数据、作业、资源及函数。 七、MaxCompute的各项功能 MaxCompute提供了多种功能,包括数据处理、...

    阿里大数据计算服务MaxCompute-入门指南D.docx

    本资源摘要信息涵盖了阿里大数据计算服务MaxCompute的入门指南,包括准备工作、创建项目空间、快速开始使用MaxCompute、加载MaxCompute项目空间到大数据开发平台、创建MaxCompute项目、使用MaxCompute客户端等内容。...

    MaxCompute多租户数据安全体系介绍及实践.pdf

    - **Project(项目空间)**:MaxCompute提供给用户的最小管理单元,用户可以在其中进行数据存储和处理。 - **访问控制**:检查请求是否来自可信且合法的用户。 - **ACL(访问控制列表)**:一种基于对象的授权方式,用于...

    C# WinForm 之间调用、传递参数的例子 Owner

    2. **设置Owner**:接着,你可以将当前窗体设为新窗体的Owner: ```csharp form2.Owner = this; ``` 这里的`this`代表当前窗体实例。 3. **显示新窗体**:你可以使用`Show()`或`ShowDialog()`方法来显示新窗体...

    android权限级别探索(三),设置 DeviceOwner及api收集

    一、准备工作 配置DeviceAdmin ...Google没有提供类似获取设备管理器权限那样的api,所以个人设备的deviceowner权限一般是通过adb shell命令赋予的,而一些大公司是采用批量订购设备,定制room的方式获取DeviceOwner

    Page-owner使用简介

    page_owner_sort

    项目沟通计划表

    "项目沟通计划表"是PMP(项目管理专业)中的一个重要工具,它旨在系统性地规划如何与项目相关的各方进行信息交流,确保所有团队成员、利益相关者以及管理层都能及时、准确地获取必要的信息。下面我们将详细探讨项目...

    device owner超级管理员 DeviceAdminSample-master.zip

    6. **README.md**:如果有的话,这里可能会有项目简介、安装和运行指南,帮助你理解和使用这个示例应用。 通过这个示例,你可以学习到如何: - **注册device admin receiver**:了解如何在代码中创建和注册...

    华为项目管理模板之06 项目沟通计划表.docx

    华为作为全球领先的ICT解决方案提供商,其项目管理模板具有严谨和专业性,其中“06 项目沟通计划表”是项目管理的重要组成部分。这份文档旨在详细规划项目的沟通策略,确保所有相关人员能够及时、准确地获取项目信息...

    第2课+大数据计算服务的操作和使用.docx

    对于非Owner,只需被邀请加入项目空间,即可使用MaxCompute进行数据分析。 在项目空间中,建表和上传数据是数据处理的核心环节。以创建表`bank_data`和`result_table`为例,用户可以通过图形化界面或SQL语句两种...

    Mssql Db_owner角色注入直接获得系统权限.txt

    ### MSSQL Db_owner 角色注入直接获得系统权限解析 #### 概述 在MSSQL环境下,通过特定的技术手段可以实现对具有`db_owner`角色的账户进行注入操作,进而获取系统的高级权限。这种技术通常被应用于渗透测试或者...

    基于JIRA的敏捷开发项目管理

    Product owner是需求方,负责提出需求和对功能流程和业务流程拍板的人。Scrum master是团队负责人,负责解决团队中的问题和领导项目。Scrum team是项目执行人员,负责项目的开发和测试。 Scrum敏捷开发的步骤包括:...

    Properties文件封装库OWNER.zip

    OWNER 是一个简单的 Java 对 Properties 文件的封装库,假设 properties 配置如下: port=80 hostname=foobar.com maxThreads=100 只需要简单的封装: public interface ServerConfig extends Config { int port...

    owner-源码.rar

    《深入剖析Owner源码》 在软件开发领域,理解源码是提升技术能力的重要途径,尤其是在面对复杂的系统架构时。本篇文章将针对"owner-源码"进行深度解析,帮助读者掌握其背后的逻辑与设计思想。 "owner"一词在编程中...

    敏捷项目管理流程-Scrum框架最全总结.txt

    ### 敏捷项目管理流程-Scrum框架最全总结 #### Scrum框架概述与核心角色 Scrum是一种轻量级的敏捷开发框架,主要用于管理软件开发项目和其他复杂产品开发过程。它强调团队协作、迭代交付以及适应变化的能力。在...

    customdraw & ownerdraw

    关于Window自画控件CustomDraw,OwnerDraw的好文章

    DB_OWNER权限备份hta到启动项提权的小工具.

    标题中的“DB_OWNER权限备份hta到启动项提权的小工具”指的是一个利用SQL Server数据库中的DB_OWNER角色权限,将HTA(HTML应用程序)文件备份并植入到系统启动项中的工具。这个工具可能被用于网络安全攻防演练或者...

    带图标的按钮(非BS_OWNERDRAW实现)

    一般按鈕贴图或图标都是把按钮风格设为BS_OWNERDRAW类型,然后重载DrawItem函数,进行自定义重绘。但是我觉得这样挺不好的。因为按钮一旦设为BS_OWNERDRAW,则他的各种GUI属性将全部丢失,比如按钮的外边框、阴影、...

    Website Owner's Manual

    - **项目协调**:协调跨部门合作,确保项目的顺利进行。 - **争议解决**:处理团队内部关于网站决策的分歧。 #### 规划未来 网站所有者还需要具备前瞻性的思维,定期评估网站的目标是否仍然适用,根据市场变化和...

    批量更改数据库表的所有者

    ### 批量更改数据库表的所有者 在数据库管理过程中,可能会遇到需要更改多个表所有者的情况。例如,在进行系统迁移、权限调整或是环境部署时,批量更改表的所有者能够极大地提高工作效率并减少出错的可能性。下面将...

Global site tag (gtag.js) - Google Analytics