大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。MaxCompute的开发工具有三种方法,本文介绍MaxCompute客户端的安装、配置、测试方法以及可能遇见的问题。odpscmd是MaxCompute基础客户端,可以通过它访问MaxCompute的项目空间并使用各项功能。
**安装步骤:**
**第一步:下载安装JDK(1.7或以上版本)**
因为odpscmd是基于JAVA开发的,所以需配置JAVA运行环境。JDK大家可以在网上查找下载,我提供一个下载链接,仅供参考。
[https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fwww.oracle.com%2Ftechnetwork%2Fjava%2Fjavase%2Fdownloads%2Fjdk8-downloads-2133151.html)
Windows版本和Mac OS版本选择下载,下载完成之后,大家按照流程安装即可。
**第二步:配置JDK**
Windows版本:
1.右键选择 计算机→属性→高级系统设置→高级→环境变量
2.系统变量→新建
变量名:JAVA\_HOME
变量值:变量值填填写JDK的安装目录,例如本人是 ![image](https://yqfile.alicdn.com/db737a9b8a44ed62390d53897d0da5820310b802.png)
![image](https://yqfile.alicdn.com/29aaff2104a485fad2eb0cfd250525fdc0105eb9.png)
3、在系统变量中找见Path变量,选择编辑,再选择新建,输入 ![image](https://yqfile.alicdn.com/a8816e88a1cfa2c60b476a106530308566f800f7.png)
最后确认就OK了。
![image](https://yqfile.alicdn.com/2927b72958e3596de616d8cb882b3eb17294df29.png)
4、检查是否安装完成。
在系统自带cmd工具输入检测版本命令:java –version 当出现下面内容,则配置完成。
![image](https://yqfile.alicdn.com/bb25026e9ef328f93392fa649fe41835d6686b17.png)
这个1.8.0\_171是安装的版本。
Mac OS版本:
Mac OS配置环境变量这篇文章讲的很清楚,大家参考一下:[https://blog.csdn.net/vvv\_110/article/details/72897142](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fblog.csdn.net%2Fvvv_110%2Farticle%2Fdetails%2F72897142)
**第三步:下载odpscmd客户端安装包**
[https://help.aliyun.com/document\_detail/27971.html](https://help.aliyun.com/document_detail/27971.html)
点击上面的链接,找见下面的内容即可下载。
![image](https://yqfile.alicdn.com/adefb0810974cf0e898dd8f80ccc7618a7014758.png)
**第四步:解压安装包**
大家把安装包下载到合适的硬盘当中后,下载下来的都是zip文件,自带的电脑压缩工具应该都可以解压,如果不可以解压,大家下载一个zip解压工具就好。解压之后,就会出现四个文件夹bin、conf、lib、plugins。
![image](https://yqfile.alicdn.com/aa6bc13c5c297b8a8076b0bcf0ed63eecea92892.png)
**第五步:配置客户端**
编辑conf文件夹中的odps\_config.ini文件,对客户端进行配置,如下所示:
access\_id=**\***
access\_key=**_\*_**
Accesss ID及Access Key是用户的云账号信息,可登录阿里云官网,进入管理控制台accesskeys页面进行查看。
project\_name=my\_project # 指定用户想进入的项目空间。
end\_point=[https://service.odps.aliyun.com/api](https://service.odps.aliyun.com/api) # MaxCompute服务的访问链接。
tunnel\_endpoint=[https://dt.odps.aliyun.com](https://dt.odps.aliyun.com/) # MaxCompute Tunnel服务的访问链接。
log\_view\_host=[http://logview.odps.aliyun.com](http://logview.odps.aliyun.com/)
当用户执行一个作业后,客户端会返回该作业的LogView地址。打开该地址将会看到作业执行的详细信息。
https\_check=true #决定是否开启HTTPS访问
因为.ini文件电脑默认打开的是txt的应用,电脑自带的文本文档打开之后是一长溜,不利于观看,大家可以自行下载一些txt查看工具,比如notepad什么的,利于观看。
因为开通服务的地区不同,需要根据自己开通Regoin情况以及数据所在Regoin进行end\_point和tunel\_endpoint配置,可参考官方文档:
[https://help.aliyun.com/document\_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN](https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN)
![image](https://yqfile.alicdn.com/5690f498009d74561ea00e47c67b97f3a53eca21.png)
配置完保存即可。
**第六步:运行客户端**
修改好配置文件后,便可运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)
![image](https://yqfile.alicdn.com/b560b67ac1c19da9cbcb5984d1ace27db7e58de1.png)
![image](https://yqfile.alicdn.com/0669b3f2d2840d5005d297334cfca178384e8605.png)
**第七步:测试是否安装完成**
可在客户端中运行测试语句,示例如下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(\*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
如果出现以下结果,则表明安装正确。
![image](https://yqfile.alicdn.com/ef2c5202cb45c4be78ba56a45e0ca9dfc14151f7.png)
**可能碰见的问题:**
1、没有安装JDK,没有配置环境变量,直接运行odpscmd报错。
2、查看系统80端口,一般是打开的。端口关闭也会导致运行报错。
3、config配置文件没有配置正确,特别注意空间名称以及endpoint,导致客户端无法正常使用。
4、如碰见其他问题,可MaxCompute开发者社区群内咨询。
[原文链接](https://yq.aliyun.com/articles/724721?utm_content=g_1000087234)
本文为云栖社区原创内容,未经允许不得转载。
分享到:
相关推荐
"DC-UNLOCKER解锁客户端"是一款专门用于手机和网卡解锁的专业软件,适用于华为、ZTE(中兴)以及中国移动、中国联通等品牌和运营商的设备。这款客户端工具旨在帮助用户解除设备上的网络锁定,使其能够在全球范围内...
主要功能是可以控制和监视客户端,如捕捉客户端屏幕、发送消息到客户端、锁定客户端、解锁客户端、 控制注销客户端、控制客户端关机、显示隐藏客户端软件以及结束客户端软件等常规功能。 最大的特点就是客户端不用...
锁定计算机屏幕,直到输入正确口令才能解锁
华为手机解锁步骤详解 作为一名 IT 行业大师,我将详细介绍华为手机解锁步骤的知识点,确保读者能够成功解锁华为手机...用户在解锁手机前,需要了解解锁的必要性和风险,并遵循正确的解锁步骤,避免可能的风险和问题。
下载适用于设备的正确版本的解锁工具和固件文件,如本例中的RUUWrapper.exe和RUU_signed.nbh。 2. **解压文件**:将压缩包解压到计算机上的任意位置。这一步骤创建了运行解锁软件所需的文件结构。 3. **连接设备**...
在IT行业中,iOS设备的安全性是其一大特点,但这也意味着当用户忘记锁屏密码或者遇到其他解锁问题时,可能会面临挑战。本文将详细讲解“iOS解锁”这一主题,包括iOS手机解锁ID以及相关的解锁方法。 一、iOS手机解锁...
这个解锁码是解锁过程中的关键步骤,正确输入后才能成功解锁设备。 关于“DC-unlock”这个工具,它是一款广受欢迎的通用解锁软件,支持多种品牌和型号的移动通信设备,包括华为在内的许多制造商的手机、MiFi设备...
- `安装必读文件.url`:可能是指向一份详细说明如何正确安装和配置adb环境的文档链接。 - `最牛的单机游戏下载网站.url`:虽然与adb解锁无关,但可能是推荐的游戏资源网站,供用户在解锁后娱乐使用。 总的来说,...
然而,这些DLC通常需要购买才能解锁,有时还会伴随广告弹窗,影响游戏体验。 "ARMA3全DLC解锁工具"就是为了帮助玩家解决这个问题而出现的。它允许玩家无需购买即可解锁游戏中的所有DLC,包括但不限于新增的武器、...
比如“Unlocker”就是这样一款实用程序,它可以强制关闭占用文件的进程,解除设备锁定。 5. **驱动程序更新**:有时USB设备的驱动程序问题也可能导致设备无法正常移除。更新USB控制器驱动程序,或者安装设备制造商...
3. **安装驱动程序**:在进行解锁操作前,确保电脑已正确安装华为手机的驱动程序,这通常能帮助电脑识别并连接手机。驱动程序通常可以在华为官方网站或提供的工具包中找到。 4. **连接手机**:使用USB数据线将手机...
这样,解锁组件就可以在Vue模板中使用了。 3. **使用**:在Vue模板中,你可以创建一个`unlock`组件,并传递必要的属性,如`onSuccess`和`onError`回调函数,用于处理成功和失败的事件。 ```html ...
3. **获取设备驱动**:确保你的电脑上安装了联想A288T的USB驱动程序,这样电脑才能识别手机并进行通信。 4. **下载解锁工具**:你需要下载适用于联想A288T的解锁工具,这通常是一个包含Fastboot工具和解锁指令的...
在使用这类解锁软件时,必须确保设备已正确连接到电脑,并开启USB调试模式。同时,由于涉及系统级别的操作,使用前最好备份重要数据,以防万一。 5. 兼容性: 展讯安卓解锁软件可能主要支持搭载展讯芯片的安卓...
值得注意的是,使用这样的软件解锁服务有时是收费的,尽管基础功能可能相似,但不同的软件可能在用户体验、技术支持或兼容性方面存在差异。 在提供的压缩包文件列表中,我们看到只有一个名为"EMMC.exe"的文件。这很...
4. **解锁和更改设置**:在BIOS设置中找到相关的安全选项,解锁或启用U盘支持,以及找到BIOS更新选项。 5. **执行BIOS升级**:按照屏幕指示,选择从USB设备启动,然后进行BIOS升级过程。此过程可能需要电脑重启,并...
本文将详细介绍如何为HTC设备获取解锁码以及如何使用解锁工具进行BL(Bootloader)解锁,这是一项对高级用户来说非常重要的操作,通常用于自定义ROM、恢复或提高设备性能。 首先,我们需要理解Bootloader是什么。...
对于小米手机用户来说,解锁system分区意味着可以对手机进行更深层次的定制,例如安装第三方ROM、MOD或者进行系统级别的优化。然而,这通常需要专业知识和一定的风险意识,因为错误的操作可能导致手机无法正常使用。...
刷机工具是用于执行解锁操作的软件,而刷机驱动则是为了让电脑识别并正确通信到手机。确保使用与手机型号相匹配的版本,否则可能会导致设备无法正常工作。 在解锁过程中,务必遵循以下步骤: 1. 备份重要数据:解锁...
2. IMEI号码:正确无误地获取手机的IMEI号码,这对于生成解锁码至关重要。 3. 数据备份:在尝试解锁之前,建议用户备份手机中的所有重要数据,以防解锁过程中可能出现的数据丢失。 使用过程一般如下: 1. 下载并...