package com.alibaba.odps.tunnel.samples;
import java.io.IOException;
import java.util.Date;
import com.alibaba.odps.tunnel.Column;
import com.alibaba.odps.tunnel.Account;
import com.alibaba.odps.tunnel.Configuration;
import com.alibaba.odps.tunnel.DataTunnel;
import com.alibaba.odps.tunnel.Download;
import com.alibaba.odps.tunnel.RecordSchema;
import com.alibaba.odps.tunnel.TunnelException;
import com.alibaba.odps.tunnel.Download.Status;
import com.alibaba.odps.tunnel.io.Record;
import com.alibaba.odps.tunnel.io.RecordReader;
public class DownloadSample {
private static String endpoint = "http://tunnelserver/";
private static String accessId = "<your access id>";
private static String accessKey = "<your access Key>";
private static String project = "<your project>";
private static String table = "<your table name>";
private static String partition = "<your partition spec>";
public static void main(String args[]) {
Account account = new Account("aliyun",accessId,accessKey);
Configuration cfg = new Configuration(account, endpoint);
DataTunnel tunnel = new DataTunnel(cfg);
try {
Download down = tunnel.createDownload(project, table, partition);
String id = down.getDownloadId();
System.out.println("DownloadId = " + id);
RecordSchema schema = down.getSchema();
System.out.println("Schema is: " + schema.toJsonString());
Status status = down.getStatus();
System.out.println("Status is: " + status.toString());
long count = down.getRecordCount();
System.out.println("RecordCount is: " + count);
RecordReader reader = down.openRecordReader(0, count);
Record r = new Record(schema.getColumnCount());
while ((r = reader.read()) != null) {
consumeRecord(r, schema);
}
reader.close();
down.complete();
} catch (TunnelException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
private static void consumeRecord(Record r, RecordSchema schema) {
for (int i = 0; i < schema.getColumnCount(); i++) {
Column.Type t = schema.getColumnType(i);
String colValue = null;
switch (t) {
case ODPS_BIGINT: {
Long v = r.getBigint(i);
colValue = v == null? null : v.toString();
break;
}
case ODPS_DOUBLE: {
Double v = r.getDouble(i);
colValue = v == null ? null : v.toString();
break;
}
case ODPS_DATETIME: {
Date v = r.getDatetime(i);
colValue = v == null ? null : v.toString();
break;
}
case ODPS_BOOLEAN: {
Boolean v = r.getBoolean(i);
colValue = v == null ? null : v.toString();
break;
}
case ODPS_STRING:
String v = r.getString(i);
colValue = v == null ? null : v.toString();
break;
default:
throw new RuntimeException("Unknown column type: " + t);
}
System.out.print(colValue == null? "null" : colValue);
if(i != schema.getColumnCount())
System.out.print("\t");
}
System.out.println();
}
}
分享到:
相关推荐
ODPS(MaxCompute)是阿里巴巴集团推出的一种大数据处理平台,主要设计用于海量数据的离线分析。本权威详尽的帮助手册旨在深入解析ODPS的核心功能、底层优化原理以及实际操作中的各种细节,帮助用户充分利用这一工具...
Java连接ODPS(MaxCompute)是一项关键的技能,特别是在大数据处理和分析的场景下。ODPS,即阿里云的大数据处理服务MaxCompute,是企业级的海量数据处理平台,提供了SQL、API等多种方式进行数据操作。Java SDK是ODPS...
阿里云ODPS(Open Data Processing Service)是一款大数据处理服务,主要面向海量数据的批处理、交互式查询和分析。ODPS提供了SQL接口,使得开发者能够用熟悉的SQL语法进行大数据操作,极大地降低了大数据处理的门槛...
阿里云ODPS文档 阿里云ODPS(Open Data Processing Service)是一种大规模数据处理服务,提供了基于SQL的数据处理能力。ODPS SQL是ODPS的一部分,提供了类似于SQL的语法,用于处理大规模数据。 ODPS SQL的特点 ...
《ODPS权威指南:阿里大数据平台应用开发实践》是一本深度解析阿里巴巴ODPS技术的专著,旨在为读者提供全面、深入的ODPS理解和应用经验。ODPS,全称为Open Data Processing Service,是阿里巴巴集团自主研发的大数据...
ODPS(Open Data Processing Service)是阿里巴巴开源的大数据处理服务,它主要面向大规模数据分析,提供SQL查询、数据仓库以及批处理能力。这个“ODPS参考手册”是学习和使用ODPS的重要资源,它包含了ODPS的各项...
ODPS,全称为Open Data Processing Service,是阿里云推出的一种大数据处理服务,旨在为企业提供海量数据的存储和计算能力。《ODPS权威指南》作为最新版的参考资料,深入讲解了ODPS的核心特性和应用场景,是学习和...
本资料包“datahub_test_001_odps_datahub_IDEAL_datahub和odps”主要关注两个关键组件:DataHub和ODPS,以及它们在IDEAL环境中的集成应用。 首先,ODPS(开放数据处理服务)是阿里云推出的一种大数据处理平台,它...
ODPS(Open Data Processing Service)是阿里云推出的一种大数据处理服务,它提供了强大的数据存储和计算能力,帮助企业处理海量数据。而"odps-eclipse-plugin-bundle-0.16.0.zip"则是一个针对ODPS开发的Eclipse集成...
ODPS 提供海量数据处理及分析服务,让用户远离大数据运算烦恼。 开放数据处理服务(Open Data Processing Service,ODPS)是基于飞天分布式系统构建的海 量数据处理和分析的服务平台,具有 PB 级别的数据处理能力, ...
【ODPS概述】 开放数据处理服务(ODPS)是由阿里巴巴集团研发的一种大数据处理与分析平台,基于飞天内核构建,旨在提供PB级别的数据处理能力。ODPS通过RESTful API接口对外提供服务,使得开发者能够方便地进行大...
"阿里开放数据处理服务ODPS介绍" 阿里开放数据处理服务ODPS是一款基于云计算的数据处理和分析平台,旨在帮助企业解决大数据处理和分析的问题。ODPS提供了一站式的数据处理和分析服务,使用户可以快速构建大数据应用...
阿里云odpsSql手册1摘要 大数据计算服务MaxCompute SQL概要介绍_MAXCompute SQL是一种面向海量数据(TB级别)的计算服务,适用于实时性要求不高的场合。 MaxCompute SQL的每个作业的准备、提交等阶段需要花费较长...
ODPS(Open Data Processing Service)是阿里云推出的一种大数据处理服务,主要面向大规模数据处理场景。这个“ODPS资料大全”压缩包很可能包含了关于ODPS的详细文档、教程、案例研究以及API参考等内容,旨在帮助...
《大数据技术:ODPS MapReduce对外开放实践》 在大数据领域,ODPS(Open Data Processing Service)是阿里巴巴集团推出的一种用于大规模数据处理的底层平台。ODPS的核心目标是为用户提供一个高效、稳定且易于使用的...
### ODPS的使用说明 #### 一、ODPS-SQL基础用法 ##### 1. 使用CASE语句 ODPS中的CASE语句用于根据不同的条件返回不同的结果。例如,在创建新表`train_1`时,可以根据`tab`字段的不同值来决定`weight`字段的值: ...
odps-jdbc-3.2.9-jar-with-dependencies.jar 是阿里云 MaxCompute(开放数据处理服务,ODPS)平台的 JDBC 驱动程序,专为大数据处理和分析而设计。此版本的驱动程序包含所有必要的依赖库,简化了开发人员在 Java ...
阿里云ODPS机器学习平台,简称PAI,是构建在阿里云ODPS计算服务之上的一个全面的机器学习解决方案。这个平台旨在简化大数据处理、建模、离线预测以及在线预测的过程,为算法开发者和使用者提供了一个高效且易用的...
徐东作为阿里巴巴数据平台事业部的ODPS技术专家,在2014年的中国大数据技术大会上分享了关于ODPS MapReduce对外开放实践的演讲。ODPS,全称为OpenDataProcessSystem,是一个大规模数据处理的底层平台,每天都能够...
kettle使用maxcompute相关插件,aliyun-kettle-odps-plugin-1.0.0.tar.gz