`

ODPS DownloadSample

    博客分类:
  • ODPS
阅读更多
package com.alibaba.odps.tunnel.samples;

import java.io.IOException;
import java.util.Date;

import com.alibaba.odps.tunnel.Column;
import com.alibaba.odps.tunnel.Account;
import com.alibaba.odps.tunnel.Configuration;
import com.alibaba.odps.tunnel.DataTunnel;
import com.alibaba.odps.tunnel.Download;
import com.alibaba.odps.tunnel.RecordSchema;
import com.alibaba.odps.tunnel.TunnelException;
import com.alibaba.odps.tunnel.Download.Status;
import com.alibaba.odps.tunnel.io.Record;
import com.alibaba.odps.tunnel.io.RecordReader;

public class DownloadSample {

	private static String endpoint = "http://tunnelserver/";
	private static String accessId = "<your access id>";
	private static String accessKey = "<your access Key>";

	private static String project = "<your project>";
	private static String table = "<your table name>";
	private static String partition = "<your partition spec>";

	public static void main(String args[]) {
		Account account = new Account("aliyun",accessId,accessKey);
		Configuration cfg = new Configuration(account, endpoint);
		DataTunnel tunnel = new DataTunnel(cfg);

		try {
			Download down = tunnel.createDownload(project, table, partition);
			String id = down.getDownloadId();
			System.out.println("DownloadId = " + id);

			RecordSchema schema = down.getSchema();
			System.out.println("Schema is: " + schema.toJsonString());

			Status status = down.getStatus();
			System.out.println("Status is: " + status.toString());

			long count = down.getRecordCount();
			System.out.println("RecordCount is: " + count);

			RecordReader reader = down.openRecordReader(0, count);
			Record r = new Record(schema.getColumnCount());
			while ((r = reader.read()) != null) {
				consumeRecord(r, schema);
			}
			reader.close();
			down.complete();
		} catch (TunnelException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	private static void consumeRecord(Record r, RecordSchema schema) {
		
		for (int i = 0; i < schema.getColumnCount(); i++) {
			Column.Type t = schema.getColumnType(i);
			String colValue = null;
			switch (t) {
			case ODPS_BIGINT: {
				Long v = r.getBigint(i);
				colValue = v == null? null : v.toString();
				break;
			}
			case ODPS_DOUBLE: {
				Double v = r.getDouble(i);
				colValue = v == null ? null : v.toString();
				break;
			}
			case ODPS_DATETIME: {
				Date v = r.getDatetime(i);
				colValue = v == null ? null : v.toString();
				break;
			}
			case ODPS_BOOLEAN: {
				Boolean v = r.getBoolean(i);
				colValue = v == null ? null : v.toString();
				break;
			}
			case ODPS_STRING:
				String v = r.getString(i);
				colValue = v == null ? null : v.toString();
				break;
			default:
				throw new RuntimeException("Unknown column type: " + t);
			}
			System.out.print(colValue == null? "null" : colValue);
			if(i != schema.getColumnCount())
				System.out.print("\t");
		}
		System.out.println();
	}
}
0
2
分享到:
评论

相关推荐

    odps(MaxCompute) 权威详尽说明帮助手册

    ODPS(MaxCompute)是阿里巴巴集团推出的一种大数据处理平台,主要设计用于海量数据的离线分析。本权威详尽的帮助手册旨在深入解析ODPS的核心功能、底层优化原理以及实际操作中的各种细节,帮助用户充分利用这一工具...

    Java连接ODPS文档和代码

    Java连接ODPS(MaxCompute)是一项关键的技能,特别是在大数据处理和分析的场景下。ODPS,即阿里云的大数据处理服务MaxCompute,是企业级的海量数据处理平台,提供了SQL、API等多种方式进行数据操作。Java SDK是ODPS...

    阿里云 odps 文档

    阿里云ODPS(Open Data Processing Service)是一款大数据处理服务,主要面向海量数据的批处理、交互式查询和分析。ODPS提供了SQL接口,使得开发者能够用熟悉的SQL语法进行大数据操作,极大地降低了大数据处理的门槛...

    阿里云 odps 文档.pdf

    阿里云ODPS文档 阿里云ODPS(Open Data Processing Service)是一种大规模数据处理服务,提供了基于SQL的数据处理能力。ODPS SQL是ODPS的一部分,提供了类似于SQL的语法,用于处理大规模数据。 ODPS SQL的特点 ...

    ODPS权威指南 阿里大数据平台应用开发实践

    《ODPS权威指南:阿里大数据平台应用开发实践》是一本深度解析阿里巴巴ODPS技术的专著,旨在为读者提供全面、深入的ODPS理解和应用经验。ODPS,全称为Open Data Processing Service,是阿里巴巴集团自主研发的大数据...

    ODPS参考手册

    ODPS(Open Data Processing Service)是阿里巴巴开源的大数据处理服务,它主要面向大规模数据分析,提供SQL查询、数据仓库以及批处理能力。这个“ODPS参考手册”是学习和使用ODPS的重要资源,它包含了ODPS的各项...

    odps权威指南最新版

    ODPS,全称为Open Data Processing Service,是阿里云推出的一种大数据处理服务,旨在为企业提供海量数据的存储和计算能力。《ODPS权威指南》作为最新版的参考资料,深入讲解了ODPS的核心特性和应用场景,是学习和...

    datahub_test_001_odps_datahub_IDEAL_datahub和odps_

    本资料包“datahub_test_001_odps_datahub_IDEAL_datahub和odps”主要关注两个关键组件:DataHub和ODPS,以及它们在IDEAL环境中的集成应用。 首先,ODPS(开放数据处理服务)是阿里云推出的一种大数据处理平台,它...

    odps-eclipse-plugin-bundle-0.16.0.zip

    ODPS(Open Data Processing Service)是阿里云推出的一种大数据处理服务,它提供了强大的数据存储和计算能力,帮助企业处理海量数据。而"odps-eclipse-plugin-bundle-0.16.0.zip"则是一个针对ODPS开发的Eclipse集成...

    阿里巴巴开放数据处理服务odps

    ODPS 提供海量数据处理及分析服务,让用户远离大数据运算烦恼。 开放数据处理服务(Open Data Processing Service,ODPS)是基于飞天分布式系统构建的海 量数据处理和分析的服务平台,具有 PB 级别的数据处理能力, ...

    odps操作手册

    【ODPS概述】 开放数据处理服务(ODPS)是由阿里巴巴集团研发的一种大数据处理与分析平台,基于飞天内核构建,旨在提供PB级别的数据处理能力。ODPS通过RESTful API接口对外提供服务,使得开发者能够方便地进行大...

    阿里开放数据处理服务ODPS介绍.pptx

    "阿里开放数据处理服务ODPS介绍" 阿里开放数据处理服务ODPS是一款基于云计算的数据处理和分析平台,旨在帮助企业解决大数据处理和分析的问题。ODPS提供了一站式的数据处理和分析服务,使用户可以快速构建大数据应用...

    阿里云odpsSql手册1

    阿里云odpsSql手册1摘要 大数据计算服务MaxCompute SQL概要介绍_MAXCompute SQL是一种面向海量数据(TB级别)的计算服务,适用于实时性要求不高的场合。 MaxCompute SQL的每个作业的准备、提交等阶段需要花费较长...

    ODPS资料大全

    ODPS(Open Data Processing Service)是阿里云推出的一种大数据处理服务,主要面向大规模数据处理场景。这个“ODPS资料大全”压缩包很可能包含了关于ODPS的详细文档、教程、案例研究以及API参考等内容,旨在帮助...

    大数据技术 ODPS MapReduce对外开放实践 共20页.pptx

    《大数据技术:ODPS MapReduce对外开放实践》 在大数据领域,ODPS(Open Data Processing Service)是阿里巴巴集团推出的一种用于大规模数据处理的底层平台。ODPS的核心目标是为用户提供一个高效、稳定且易于使用的...

    ODPS的使用说明

    ### ODPS的使用说明 #### 一、ODPS-SQL基础用法 ##### 1. 使用CASE语句 ODPS中的CASE语句用于根据不同的条件返回不同的结果。例如,在创建新表`train_1`时,可以根据`tab`字段的不同值来决定`weight`字段的值: ...

    odps-jdbc-3.2.9-jar-with-dependencies.jar

    odps-jdbc-3.2.9-jar-with-dependencies.jar 是阿里云 MaxCompute(开放数据处理服务,ODPS)平台的 JDBC 驱动程序,专为大数据处理和分析而设计。此版本的驱动程序包含所有必要的依赖库,简化了开发人员在 Java ...

    阿里云odps机器学习平台手册1

    阿里云ODPS机器学习平台,简称PAI,是构建在阿里云ODPS计算服务之上的一个全面的机器学习解决方案。这个平台旨在简化大数据处理、建模、离线预测以及在线预测的过程,为算法开发者和使用者提供了一个高效且易用的...

    少杰 (徐东):ODPS MapReduce对外开放实践

    徐东作为阿里巴巴数据平台事业部的ODPS技术专家,在2014年的中国大数据技术大会上分享了关于ODPS MapReduce对外开放实践的演讲。ODPS,全称为OpenDataProcessSystem,是一个大规模数据处理的底层平台,每天都能够...

    aliyun-kettle-odps-plugin-1.0.0.tar.gz

    kettle使用maxcompute相关插件,aliyun-kettle-odps-plugin-1.0.0.tar.gz

Global site tag (gtag.js) - Google Analytics