`
这个可以有
  • 浏览: 17232 次
文章分类
社区版块
存档分类
最新评论

MaxCompute Studio使用心得系列1——本地数据上传下载

 
阅读更多

MaxCompute Studio已经发布好久,一直没能好好体验,近期MaxCompute Studio 陆续推出很多好用的功能,今天开始给大家分享使用心得。

用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题:

  • ‘导入本地数据’功能,限制本地数据文件大小最大为10MB;
  • 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1W数据;
  • 数据导出本地文件的功能只有‘查询结果导出本地’。

要解决以上问题,通常都是需要自己安装console客户端,通过tunnel命令进行导入导出。

现在来分享使用MaxCompute Studio工具界面,可以更轻松完成tunnel命令能完成的本地数据导入导出工作。

MaxCompute Studio工具安装请参考文档安装 IntelliJ IDEA安装MaxCompute Studio.

本地数据导入

前提条件:表、分区已经存在,操作人有权限对表进行数据写入。

进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Import data into table

image

弹出的框里选择上传的本地数据文件路径、分区(非分区表无需填)、分隔符、行数限制、大小限制等:

注意:大小限制(Size Limit)不限于10MB。

image

点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导入成功日志中会给出写入成功的行数和写入失败的行数。如:

上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ].

数据导出本地

前提条件:操作人有权限对表进行数据导出。

进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Export data from table

image

弹出框输入导出文件地址包括文件名文件类型(CSV或TXT)、选择需要下载的分区(非分区表直接下载整张表)、导出行数限制、大小限制等。

注意:行数不限于10000行,大小不限于10MB,可以下载整张非分区表或分区表的整个分区。

image

点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导出成功日志中会给出导出成功的行数和导出失败的行数。如:

上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].

结束语:MaxCompute Studio中上述的本地数据导入导出功能实际上就是采用 MaxCompute Tunnel 服务,功能与Tunnel命令一样。

分享到:
评论

相关推荐

    AndroidStudio————实战演练——仿美团外卖菜单

    在本项目中,"AndroidStudio————实战演练——仿美团外卖菜单"是一个专注于使用Android Studio开发的应用程序实战案例,目标是创建一个类似于美团外卖的菜单功能。这个项目涵盖了多个Android开发的关键知识点,...

    Android Studio —— 下载网络图片显示

    Volley库由Google提供,它是一个高效的网络库,特别适合处理小数据量的网络请求,如图片下载。 1. **添加依赖**: 在`build.gradle(Module)`文件中,添加Volley库的依赖: ```groovy dependencies { implementation...

    Visualstudio2015(12)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    【RPA之家转载视频教程2】UiPath Studio中的数据抓取——使用UiPath将结果从网站复制到记事本.rar

    【RPA之家】提供的【RPA之家转载视频教程2】主要介绍了UiPath Studio中的数据抓取技术,通过这个教程,我们可以深入理解如何利用RPA工具高效地自动化处理网络上的信息。RPA,即机器人流程自动化,是一种先进的技术,...

    Android Studio实现MQTT数据收发及数据处理

    在Android Studio实现MQTT对主题的订阅和数据的收发,以及将数据封装成对象传回MainActivity,方便进行数据处理,其操作信息在TextView中展示相关的数据。对相关的数据一目了然,同时,在页面中为物联网的开发提供了...

    智能家居客户端实现——Android Studio版

    智能家居客户端实现——Android Studio版是将现代科技与日常生活相结合,为用户提供便捷、智能的生活环境的项目。基于Android Studio开发的这个客户端,旨在让用户通过智能手机就能远程操控家中的各种智能设备,如...

    PIE-Engine Studio ——数据说明

    PIE-Engine Studio 是一个提供多种地球科学研究中常用栅格数据产品的平台,涵盖了Landsat系列、葵花8号气象卫星、哨兵系列以及其他多源卫星数据,总计有90余种数据集。这些数据产品均经过了辐射校正、大气校正和几何...

    [Android Studio应用开发——基础入门与应用实战][方欣,杨勃][电子课件]

    1. **环境搭建**:如何下载和安装Android Studio,配置SDK,设置Android Virtual Device (AVD) 模拟器,以及理解Android的开发环境。 2. **基本语法与项目结构**:学习Java或Kotlin语言的基础,理解Android项目的...

    智能家居客户端实现——Android Studio版.zip

    智能家居客户端实现——Android Studio版 在当今科技飞速发展的时代,智能家居已经成为许多家庭追求便捷、高效生活的重要组成部分。Android Studio作为Google推出的官方Android应用开发工具,为开发者提供了强大的...

    Visualstudio2015(9)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(8)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(15)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(18)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(14)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(17)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(11)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    Visualstudio2015(13)——

    visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...

    《数据挖掘原理与应用——SQL Server 2005 数据库》算法案例

    《数据挖掘原理与应用——SQL Server 2005 数据库》是一本深入探讨数据挖掘技术的书籍,其中包含了丰富的算法实例,旨在帮助读者理解并掌握如何在SQL Server 2005环境下进行数据挖掘实践。数据挖掘是利用统计学、...

Global site tag (gtag.js) - Google Analytics