`
大涛学长
  • 浏览: 111451 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MaxCompute问答整理之10月

阅读更多
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、DataStudio中是否可以通过shell节点调取MaxCompute sql语句? 
不可以的,Shell节点支持标准Shell语法,不支持交互性语法。如果任务较多,可以使用ODPS SQL节点来完成任务的执行。关于DataStudio的其他介绍请参考官方文档: [https://help.aliyun.com/document\_detail/74423.html](https://help.aliyun.com/document_detail/74423.html)

问题二、MaxCompute支持修改表字段的数据类型吗? 
不支持,只能添加字段列,生产表不允许删除字段、修改字段及分区字段,如果必须修改,请删除之后重新建表,可以将表建立成外部表,在表删除重建以后,能将数据重新加载回来。 
数据类型请参考官方文档:[https://help.aliyun.com/document\_detail/27821.html](https://help.aliyun.com/document_detail/27821.html)

问题三、MaxCompute除了UDF函数的方式外,有没有别的办法将两个没有任何关联关系的表合并成一张表呢? 
可以纵向合并使用union all,横向合并的话可以借助row number,两张表都新加一个新的ID列,进行ID关联,然后取两张表的字段。

问题四、现有账号的AK禁用,创建一个新的AK,会对之前AK创建的周期性任务有影响吗? 
有的,如果AccessKey被禁用或删除,将直接影响您的DataWorks中各类任务的正常运行。 
AK信息谨慎操作。其余AK操作请参考官方文档:[https://help.aliyun.com/document\_detail/27803.html](https://help.aliyun.com/document_detail/27803.html)

问题五、在Java-sdk连接的情况下,如果Endpoint用的 [http://service.cn.maxcompute.aliyun.com/api](http://service.cn.maxcompute.aliyun.com/api),如果我没有显式配置Tunnel Endpoint,用到TunnelServer时会路由到哪个Tunnel Endpoint? 
如果不配置Tunnel Endpoint,Tunnel会自动路由到Service Endpoint所在网络对应的Tunnel Endpoint,例如Service Endpoint为公网就路由到公网的Tunnel Endpoint;Service Endpoint为内网就路由到内网的Tunnel Endpoint。若您继续手动配置,则以手动配置为准,不进行自动路由。具体可以参考官方文档:[https://help.aliyun.com/document\_detail/34951.html](https://help.aliyun.com/document_detail/34951.html)

问题六、请问Tunnel可以上传json格式的数据到MaxCompute表吗? 
可以把json文件作为一个整体的字段来进行上传,然后在MaxCompute进行拆分,或者利用MaxCompute内建函数及UDTF转换json格式日志数据。可以参考这个文档 :[https://yq.aliyun.com/articles/627758](https://yq.aliyun.com/articles/627758)

问题七、如何正确安装MaxCompute客户端? 
1、根据自身系统安装匹配JDK(建议1.7/1.8)并配置环境; 
2、官网文档下载最新版客户端文件并解压; 
3、根据开通好的工作空间配置config文件; 
4、根据自身系统选择执行文件(bin文件内); 
5、执行测试建表语句:create table tbll(id bigint)。 
安装及配置客户端过程中,可能会出现错误,请参考官方文档解决: 
[https://help.aliyun.com/document\_detail/142260.html](https://help.aliyun.com/document_detail/142260.html)

问题八、MaxCompute支持将2010/1/3这种格式转成 2010-01-03吗? 
如果是2010/01/03这种格式的话可以使用to\_char(TO\_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去进行转换, 
如果是2010/1/3就需要去编写UDF函数去实现日期的转换。 
更多日期函数请参考官方文档:[https://help.aliyun.com/document\_detail/48974.html](https://help.aliyun.com/document_detail/48974.html)

问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件? 
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner, 
如果是Reducer则设置参数为set odps.stage.reducer.num=1, 
如果是Joiner,则设置为set odps.stage.joiner.num=1。

问题十、DataWorks业务流程中,根据业务需求进行节点连接之后自动解析上下游是否会发生错误? 
不会,在调度系统中,每一个工作空间中默认会创建一个projectname\_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。

 

 

[原文链接](https://yq.aliyun.com/articles/724607?utm_content=g_1000087233)

本文为云栖社区原创内容,未经允许不得转载。
分享到:
评论

相关推荐

    大数据之路选择Hadoop还是MaxCompute?Hadoop开源与MaxCompute对比材料

    ### 大数据之路选择Hadoop还是MaxCompute? #### 一、Hadoop与MaxCompute概述 ##### 1.1 Hadoop介绍与发展历程 Hadoop是由Apache软件基金会开发的一个开源分布式计算平台,采用Java语言编写,旨在支持大规模数据...

    阿里云大数据平台Maxcompute操作工具客户端

    阿里云大数据平台Maxcompute操作工具客户端

    基于MaxCompute的大数据BI分析.pptx

    基于 MaxCompute的大数据 BI 分析 本方案旨在解决大数据 BI 分析的技术创新问题,通过将业务数据和日志数据快速汇总到 ADB 后再通过 QuickBI 等工具进行可视化分析和展示。该方案适用于互联网、电商、游戏行业等...

    阿里大数据计算服务MaxCompute-入门指南.pdf

    阿里大数据计算服务MaxCompute入门指南 MaxCompute是阿里云提供的一种大数据计算服务,允许用户快速处理大量数据。为帮助用户快速开始使用MaxCompute,本文档提供了详细的入门指南。 一、准备工作 在使用...

    MaxCompute案例实践杭州峰会.pdf

    MaxCompute是阿里巴巴集团开发的云大数据计算平台,专为大规模数据仓库场景而设计。在【标题】中提到的“MaxCompute案例实践杭州峰会.pdf”文件中,主要讨论了MaxCompute的典型应用案例和架构,探讨了该平台在不同...

    MaxCompute大数据生态集成和开发工具.pdf

    MaxCompute是阿里巴巴云推出的一种大规模数据处理服务,它专注于大数据的存储和计算,能够支持PB级别的数据处理。在大数据生态集成和开发工具方面,MaxCompute 2.0展现了其强大的兼容性和灵活性。 首先,MaxCompute...

    阿里大数据计算服务MaxCompute-工具指南D.docx

    阿里大数据计算服务MaxCompute是一款由阿里巴巴提供的分布式大数据处理平台,旨在为企业提供高效、稳定、低成本的数据存储和计算能力。在本工具指南中,主要讲解了如何使用MaxCompute的客户端工具来操作和管理...

    阿里大数据计算服务MaxCompute-入门指南D.docx

    本资源摘要信息涵盖了阿里大数据计算服务MaxCompute的入门指南,包括准备工作、创建项目空间、快速开始使用MaxCompute、加载MaxCompute项目空间到大数据开发平台、创建MaxCompute项目、使用MaxCompute客户端等内容。...

    万台集群性能优化方法——MaxCompute性能优化实践.pdf

    MaxCompute,原名ODPS,是阿里巴巴集团及阿里云的核心大数据计算服务,它是一个超大规模、低成本、高并发的分布式计算平台。此平台主要负责99%的数据存储和95%的计算任务,支撑了阿里巴巴内部包括阿里妈妈、天猫、...

    阿里大数据计算服务MaxCompute-产品简介.pdf

    MaxCompute是阿里巴巴推出的一种大规模数据处理服务,原名为ODPS,专为TB至PB级别的海量数据仓库解决方案设计。它提供了一种快速、完全托管的服务,旨在简化大数据分析和计算过程,降低企业的运营成本,并确保数据的...

    MaxCompute2.0新功能介绍.pdf

    9月4日MaxCompute直播课件下载。 了解更多MaxCompute产品和技术相关内容,可扫描二维码加入“MaxCompute开发者交流”钉钉群。

    MaxCompute计算长尾问题优化.pdf

    9月18日MaxCompute直播课件下载。 了解更多MaxCompute产品和技术相关内容,可扫描二维码加入“MaxCompute开发者交流”钉钉群。

    MaxCompute技术公开课第四季之MaxComputeTunnel上传典型问题场景实战.pdf

    ### MaxCompute Tunnel 上传功能详解及典型问题场景分析 #### 一、MaxCompute Tunnel 上传功能概述 MaxCompute Tunnel 是一种高效的数据传输工具,主要用于将本地文件上传至MaxCompute表中。该工具提供了灵活的...

    MaxCompute的NewSQL演进之路.zip

    本资料“MaxCompute的NewSQL演进之路”将探讨MaxCompute如何借鉴NewSQL的思想,以适应大数据时代的挑战。 MaxCompute作为一个批处理系统,其核心设计目标是处理PB级别的数据,并支持SQL查询。然而,随着业务需求的...

    MaxCompute数据开发实战—数据进入MaxCompute的N种方式.pdf

    ### MaxCompute数据开发实战——数据进入MaxCompute的多种方式 #### 概述 本文档旨在详细介绍如何通过不同的技术手段和工具实现数据从多种源头至MaxCompute的高效迁移,并结合具体的业务场景,展示整个数据处理...

    MaxCompute的NewSQL演进之路.pdf

    MaxCompute是阿里巴巴推出的大数据分析平台,它随着技术的进步和用户需求的增加,已经发展到2.0版本。在此过程中,MaxCompute不仅继承了传统数据库的强语义和强结构特点,同时也融入了NoSQL的横向扩展性和大数据处理...

    Maxcompute UDF函手动打包以及注册.doc

    在大数据处理中,Maxcompute UDF 函数是非常重要的一部分,它能够帮助开发者扩展Maxcompute的计算能力。然而,在使用Maxcompute UDF 函数时,开发者需要将其打包并注册到Maxcompute平台上。本文档将详细介绍...

Global site tag (gtag.js) - Google Analytics