大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。MaxCompute的开发工具有三种方法,本文介绍MaxCompute客户端的安装、配置、测试方法以及可能遇见的问题。odpscmd是MaxCompute基础客户端,可以通过它访问MaxCompute的项目空间并使用各项功能。
**安装步骤:**
**第一步:下载安装JDK(1.7或以上版本)**
因为odpscmd是基于JAVA开发的,所以需配置JAVA运行环境。JDK大家可以在网上查找下载,我提供一个下载链接,仅供参考。
[https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fwww.oracle.com%2Ftechnetwork%2Fjava%2Fjavase%2Fdownloads%2Fjdk8-downloads-2133151.html)
Windows版本和Mac OS版本选择下载,下载完成之后,大家按照流程安装即可。
**第二步:配置JDK**
Windows版本:
1.右键选择 计算机→属性→高级系统设置→高级→环境变量
2.系统变量→新建
变量名:JAVA\_HOME
变量值:变量值填填写JDK的安装目录,例如本人是 ![image](https://yqfile.alicdn.com/db737a9b8a44ed62390d53897d0da5820310b802.png)
![image](https://yqfile.alicdn.com/29aaff2104a485fad2eb0cfd250525fdc0105eb9.png)
3、在系统变量中找见Path变量,选择编辑,再选择新建,输入 ![image](https://yqfile.alicdn.com/a8816e88a1cfa2c60b476a106530308566f800f7.png)
最后确认就OK了。
![image](https://yqfile.alicdn.com/2927b72958e3596de616d8cb882b3eb17294df29.png)
4、检查是否安装完成。
在系统自带cmd工具输入检测版本命令:java –version 当出现下面内容,则配置完成。
![image](https://yqfile.alicdn.com/bb25026e9ef328f93392fa649fe41835d6686b17.png)
这个1.8.0\_171是安装的版本。
Mac OS版本:
Mac OS配置环境变量这篇文章讲的很清楚,大家参考一下:[https://blog.csdn.net/vvv\_110/article/details/72897142](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fblog.csdn.net%2Fvvv_110%2Farticle%2Fdetails%2F72897142)
**第三步:下载odpscmd客户端安装包**
[https://help.aliyun.com/document\_detail/27971.html](https://help.aliyun.com/document_detail/27971.html)
点击上面的链接,找见下面的内容即可下载。
![image](https://yqfile.alicdn.com/adefb0810974cf0e898dd8f80ccc7618a7014758.png)
**第四步:解压安装包**
大家把安装包下载到合适的硬盘当中后,下载下来的都是zip文件,自带的电脑压缩工具应该都可以解压,如果不可以解压,大家下载一个zip解压工具就好。解压之后,就会出现四个文件夹bin、conf、lib、plugins。
![image](https://yqfile.alicdn.com/aa6bc13c5c297b8a8076b0bcf0ed63eecea92892.png)
**第五步:配置客户端**
编辑conf文件夹中的odps\_config.ini文件,对客户端进行配置,如下所示:
access\_id=**\***
access\_key=**_\*_**
Accesss ID及Access Key是用户的云账号信息,可登录阿里云官网,进入管理控制台accesskeys页面进行查看。
project\_name=my\_project # 指定用户想进入的项目空间。
end\_point=[https://service.odps.aliyun.com/api](https://service.odps.aliyun.com/api) # MaxCompute服务的访问链接。
tunnel\_endpoint=[https://dt.odps.aliyun.com](https://dt.odps.aliyun.com/) # MaxCompute Tunnel服务的访问链接。
log\_view\_host=[http://logview.odps.aliyun.com](http://logview.odps.aliyun.com/)
当用户执行一个作业后,客户端会返回该作业的LogView地址。打开该地址将会看到作业执行的详细信息。
https\_check=true #决定是否开启HTTPS访问
因为.ini文件电脑默认打开的是txt的应用,电脑自带的文本文档打开之后是一长溜,不利于观看,大家可以自行下载一些txt查看工具,比如notepad什么的,利于观看。
因为开通服务的地区不同,需要根据自己开通Regoin情况以及数据所在Regoin进行end\_point和tunel\_endpoint配置,可参考官方文档:
[https://help.aliyun.com/document\_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN](https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN)
![image](https://yqfile.alicdn.com/5690f498009d74561ea00e47c67b97f3a53eca21.png)
配置完保存即可。
**第六步:运行客户端**
修改好配置文件后,便可运行bin目录下的MaxCompute客户端(Linux系统下运行./bin/odpscmd,Windows下运行./bin/odpscmd.bat)
![image](https://yqfile.alicdn.com/b560b67ac1c19da9cbcb5984d1ace27db7e58de1.png)
![image](https://yqfile.alicdn.com/0669b3f2d2840d5005d297334cfca178384e8605.png)
**第七步:测试是否安装完成**
可在客户端中运行测试语句,示例如下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(\*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
如果出现以下结果,则表明安装正确。
![image](https://yqfile.alicdn.com/ef2c5202cb45c4be78ba56a45e0ca9dfc14151f7.png)
**可能碰见的问题:**
1、没有安装JDK,没有配置环境变量,直接运行odpscmd报错。
2、查看系统80端口,一般是打开的。端口关闭也会导致运行报错。
3、config配置文件没有配置正确,特别注意空间名称以及endpoint,导致客户端无法正常使用。
4、如碰见其他问题,可MaxCompute开发者社区群内咨询。
[原文链接](https://yq.aliyun.com/articles/724721?utm_content=g_1000087234)
本文为云栖社区原创内容,未经允许不得转载。
分享到:
相关推荐
Origin教程009所需练习数据
内容概要:本文提出了一个新的激活函数dReLU,用于提高大语言模型(LLM)的稀疏激活水平。dReLU可以显著减少模型推理过程中激活的参数数量,从而实现高效的模型推理。通过在Mistral-7B和Mixtral-47B模型上的实验,验证了dReLU的有效性。结果表明,使用dReLU的模型在性能上与原始模型相当甚至更好,同时减少了计算资源的需求,达到了2-5倍的推理加速。 适合人群:对深度学习、大语言模型和模型优化感兴趣的机器学习研究人员和技术开发者。 使用场景及目标:适用于需要高效推理的大语言模型应用场景,特别是资源受限的设备,如移动电话。目标是减少模型的计算资源消耗,提高推理速度。 其他说明:本文详细探讨了dReLU的设计和实验验证,提供了大量的实验数据和对比结果,展示了dReLU在多种任务上的优越表现。
最近参加一个农业机器人的比赛,由于今年的题目是蔬菜幼苗自动搬运,因此搬运部分需要用到一个三轴运动的装置,我们参考了3D打印机的原理,上面通过步进电机控制丝杆和皮带从而带动我们的抓手来抓举幼苗。因为比赛的幼苗和幼苗的基质比较小,这个过程需要精度比较高,查询了一些资料后,我想到了用dma来给STM32单片机的定时器寄存器ARR发送数据来精准控制输出pwm的数量,从而可以精准控制步进电机转动的度数,可以十分方便的计算出到某个位置需要的脉冲。
白色大气风格的商务团队公司模板下载.zip
2023-04-06-项目笔记-第三百五十八阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.356局变量的作用域_356- 2024-12-25
白色大气风格的个人摄影图片博客网站源码下载.zip
白色大气风格的木材加工行业网站模板下载.zip
PCle AI加速卡在智能制造中的应用.docx
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于计算机科学与技术等相关专业,更为适合;
白色风格的后台管理系统模板下载.rar
内容概要:本文详细介绍了网络热点采集系统的开发过程,包括网页抓取、数据去重、清洗、分类和可视化的各个环节。系统使用 Python 的 requests 和 BeautifulSoup 库抓取指定关键词相关的网页内容,通过集合数据结构去重,利用正则表达式清洗数据,根据关键词匹配进行分类,最后通过 matplotlib 和 wordcloud 库进行数据可视化,展示热点信息。此外,文章还介绍了多线程抓取、数据缓存、异常处理等性能优化方法,以及系统的部署和运行步骤。 适合人群:具有 Python 编程基础的开发人员和技术爱好者。 使用场景及目标:该系统适用于需要实时监控网络热点话题的个人或企业,帮助他们快速了解和分析热点信息的趋势和分布,辅助决策。 阅读建议:在学习本文时,建议读者跟随每一步代码实现,理解各个模块的设计思路和技术细节,并尝试在自己的环境中搭建和运行整个系统,以便更好地掌握网络热点采集系统的开发流程。
白色大气风格的KTV美女麦霸网站模板下载.zip
白色简洁风的博客网站模板下载.zip
梧州市五险一金办事指南
白色简洁风格的餐厅服务团队整站网站源码下载.zip
白色大气风格的境外游景区模板下载.zip
白色大气风格的美食厨师展示模板下载.zip
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于计算机科学与技术等相关专业,更为适合;
白色大气风格的视察滚动房地产模板下载.zip
【要点】:本文提出LLM-Select方法,利用大型语言模型(LLM)在仅提供输入特征名称和预测任务描述的情况下,实现特征选择,其性能可媲美传统数据科学工具,并具有跨查询机制和提示策略的一致性。 【方法】:通过零样本提示(zero-shot prompt)LLM输出特征的重要性分数,实现特征选择。 【实验】:在真实世界数据集上进行广泛实验,结果表明基于LLM的特征选择在性能上与LASSO等数据驱动方法相当,且无需查看下游训练数据。