MaxCompute Studio已经发布好久,一直没能好好体验,近期MaxCompute Studio 陆续推出很多好用的功能,今天开始给大家分享使用心得。
用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题:
- ‘导入本地数据’功能,限制本地数据文件大小最大为10MB;
- 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1W数据;
- 数据导出本地文件的功能只有‘查询结果导出本地’。
要解决以上问题,通常都是需要自己安装console客户端,通过tunnel命令进行导入导出。
现在来分享使用MaxCompute Studio工具界面,可以更轻松完成tunnel命令能完成的本地数据导入导出工作。
MaxCompute Studio工具安装请参考文档安装 IntelliJ IDEA、安装MaxCompute Studio.
本地数据导入
前提条件:表、分区已经存在,操作人有权限对表进行数据写入。
进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Import data into table
弹出的框里选择上传的本地数据文件路径、分区(非分区表无需填)、分隔符、行数限制、大小限制等:
注意:大小限制(Size Limit)不限于10MB。
点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导入成功日志中会给出写入成功的行数和写入失败的行数。如:
上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ].
数据导出本地
前提条件:操作人有权限对表进行数据导出。
进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Export data from table
弹出框输入导出文件地址包括文件名文件类型(CSV或TXT)、选择需要下载的分区(非分区表直接下载整张表)、导出行数限制、大小限制等。
注意:行数不限于10000行,大小不限于10MB,可以下载整张非分区表或分区表的整个分区。
点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导出成功日志中会给出导出成功的行数和导出失败的行数。如:
上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].
结束语:MaxCompute Studio中上述的本地数据导入导出功能实际上就是采用 MaxCompute Tunnel 服务,功能与Tunnel命令一样。
相关推荐
在本项目中,"AndroidStudio————实战演练——仿美团外卖菜单"是一个专注于使用Android Studio开发的应用程序实战案例,目标是创建一个类似于美团外卖的菜单功能。这个项目涵盖了多个Android开发的关键知识点,...
Volley库由Google提供,它是一个高效的网络库,特别适合处理小数据量的网络请求,如图片下载。 1. **添加依赖**: 在`build.gradle(Module)`文件中,添加Volley库的依赖: ```groovy dependencies { implementation...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
【RPA之家】提供的【RPA之家转载视频教程2】主要介绍了UiPath Studio中的数据抓取技术,通过这个教程,我们可以深入理解如何利用RPA工具高效地自动化处理网络上的信息。RPA,即机器人流程自动化,是一种先进的技术,...
在Android Studio实现MQTT对主题的订阅和数据的收发,以及将数据封装成对象传回MainActivity,方便进行数据处理,其操作信息在TextView中展示相关的数据。对相关的数据一目了然,同时,在页面中为物联网的开发提供了...
智能家居客户端实现——Android Studio版是将现代科技与日常生活相结合,为用户提供便捷、智能的生活环境的项目。基于Android Studio开发的这个客户端,旨在让用户通过智能手机就能远程操控家中的各种智能设备,如...
PIE-Engine Studio 是一个提供多种地球科学研究中常用栅格数据产品的平台,涵盖了Landsat系列、葵花8号气象卫星、哨兵系列以及其他多源卫星数据,总计有90余种数据集。这些数据产品均经过了辐射校正、大气校正和几何...
1. **环境搭建**:如何下载和安装Android Studio,配置SDK,设置Android Virtual Device (AVD) 模拟器,以及理解Android的开发环境。 2. **基本语法与项目结构**:学习Java或Kotlin语言的基础,理解Android项目的...
智能家居客户端实现——Android Studio版 在当今科技飞速发展的时代,智能家居已经成为许多家庭追求便捷、高效生活的重要组成部分。Android Studio作为Google推出的官方Android应用开发工具,为开发者提供了强大的...
18_ODS_离线增量表使用DataWorks批量一次性同步功能 19_ODS_表格管理设置 20_ODS_增量表的实时同步 21_ODS_MaxCompute管理业务表格 22_DIM_商品维度表建模创建 23_DIM_用户维度表和省份维度表模型创建 24_DIM商品...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...
visualstudio编译器功能强大但官网上只能下载vs2017,2019,虽然2019,2017功能极为强大,但异常巨大只安装一半功能就需要进70G。vs2015安装全部功能只需不到40G,且支持离线安装。 由于离线安装包体积进3G,所以分成...