1,使用CDH的hadoop里面有对应的组件Pig,但版本较低,所以放弃使用了,直接下载
Apache Pig0.15最新的版本(支持Tez,比Hive更容易集成)
下载地址:http://archive.apache.org/dist/pig/pig-0.15.0/pig-0.15.0.tar.gz
直接下载二进制包即可
2,配置Pig的环境变量如下:
#Pig
export PIG_HOME=/ROOT/server/pig
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
export PATH=/ROOT/server/pig/bin:$PATH
3,直接执行pig命令,启动程序,会报如下异常
[main]ERROR org.apache.pig.Main -ERROR 2998:Unhandled internal error.Found interface jline.Terminal,but class was expected
原因是由于jline这个包和hadoop的yarn/lib下面的jline的包不一致造成的。
可参考:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started里面的解释
解决方法:
删掉hadoop的yarn/lib下的那个jline版本较高的包,将pig/lib下的jline-1.0.jar包拷贝到yarn/lib下,然后
重新执行pig命令,可正常启动。
然后执行一个pig脚本写的MapReduce作业,发现会报如下异常,但是MR作业是跑成功的:
原因是,Hadoop的jobhistroy进程没有启动。
解决办法:
执行sbin/mr-jobhistory-daemon.sh start historyserver 命令,启动日志守护进程
然后再次跑pig作业,一切正常 !
- 大小: 33.7 KB
- 大小: 93.4 KB
分享到:
相关推荐
AB胶刮胶机:研华运动控制卡支持的上位机C#编程与插补龙门功能综合应用,AB胶刮胶机 1、上位机C#编写; 2、研华运动控制卡; 3、研华运动控制卡龙门功能和插补功能; 4、板卡项目很好的借鉴程序; ,核心关键词: AB胶刮胶机; 上位机C#编写; 研华运动控制卡; 龙门功能; 插补功能; 板卡项目。,"C#编程的AB胶刮胶机系统,整合研华运动控制卡与插补龙门功能"
多层高温作业服装模型的研究.pdf
无人机非法操作的电子取证.pdf
基于comsol技术的冻土路基水热耦合研究,comsol冻土路基水热耦合。 ,comsol; 冻土; 路基; 水热耦合,"水热耦合下的comsol冻土路基研究"
"基于Comsol平台的激光切割三维热流耦合模型研究,涵盖水平集物理场、流体传热及层流分析",Comsol三维激光切割热流耦合模型,物理场为水平集,流体传热以及层流 ,Comsol; 三维激光切割; 热流耦合模型; 水平集物理场; 流体传热; 层流,基于Comsol的三维激光切割热流耦合模型:物理场仿真分析
"基于扰动观察法的光伏发电系统仿真模型研究:带储能控制策略与负载突变验证,支持多版本MATLAB仿真",光伏发电系统仿真模型,扰动观察法,带储能控制策略,附负载突变 进行验证。 支持各版本MATLAB。 ,光伏发电; 扰动观察法; 储能控制策略; 负载突变验证; MATLAB各版本支持。,光伏带储能扰动控制策略与负载突变仿真验证
"COMSOL仿真复现文献中的手性结构模型:计算透射与反射率分量Tlr、Trl、Trr、Tll及Rlr、Rrl、Rrr、Rll的全面解析",COMSOL 文献复现 COMSOL 仿真手性结构通用模型,计算透射反射率分量 Tlr,Trl,Trr,Tll。 Rlr,Rrl,Rrr,Rll。 ,COMSOL; 文献复现; 仿真; 手性结构; 通用模型; 透射反射率分量; Tlr, Trl, Trr, Tll; Rlr, Rrl, Rrr, Rll,COMSOL仿真手性结构模型:透射反射率分量计算研究
基于分布式观测器的事件触发跟踪一致性控制:非理想一般线性多智能体系统的复现研究与实践验证,(复现)基于观测器的事件触发跟踪一致性控制(非理想一般线性多 智能体系统) 复现参考文献:《Observer-based Event-triggered Tracking Consensus of Non-ideal General Linear Multi-agent Systems 》 ①控制:设计了一个分布式观测器来估计相对完整状态,并将其用于跟踪共识协议以实现整体共识。 ②采用估计状态相关事件条件的事件触发机制对控制信号进行更新,减少不必要的数据通信。 ③提出的事件触发控制方案在无法直接获取实时状态时能够实现跟踪一致性。 且可以排除芝诺行为。 最后,通过数值仿真验证了理论结果的有效性。 ,复现;分布式观测器;事件触发机制;跟踪一致性控制;非理想一般线性多智能体系统;理论验证;数值仿真。,基于观测器的事件触发控制:多智能体系统跟踪一致性研究
三相并网逆变器双闭环控制策略:外环电网电流内环电容电流的协调控制算法与单位功率因数因子的实现,以及电网电压与电流的同相稳定。,三相并网逆变器双闭环控制 采用电网电流外环电容电流内环控制算法 含有源阻尼,单位功率因数 电网电压和电流同相位 ,三相并网逆变器;双闭环控制;电网电流外环;电容电流内环控制算法;有源阻尼;单位功率因数;电网电压电流同相位,三相并网逆变器双环控制算法,电流内环外环双优化,实现高功率因数。
NE555模块代码
微信小程序健康管理系统 免费JAVA毕业设计 2024成品源码+论文+录屏+启动教程 启动教程:https://www.bilibili.com/video/BV1jKDjYrEz1 项目讲解视频:https://www.bilibili.com/video/BV1Tb421n72S 二次开发教程:https://www.bilibili.com/video/BV18i421i7Dx
"COMSOL仿真中153型导波直管道超声波性能模拟——使用90kHz激励频率及L模态外径17.5mm、内径170mm,改变激励频率与管内外径的仿真研究",153-导波90kHz激励频率外径17.5内径170 COMSOL直管道超声导波仿真 模拟条形压电片激励、激励管道L模态导波 激励频率、管内外径可更改 ,153导波; 90kHz激励频率; 外径17.5内径170; COMSOL仿真; 直管道超声导波; 激励管道L模态导波; 激励频率可更改; 管内外径可更改。,直管超声导波仿真:可调激励频率与内外径的L模态导波模拟
"模块化多电平变换器(MMC)仿真研究:基于NLM与CPS-PWM调制策略的交流3000V至直流5000V整流系统性能测试",模块化多电平变器MMC两种调制策略实现(交流3000V-直流5000V整流)仿真,单桥臂二十子模块,分别采用最近电平逼近NLM与载波移相调制CPS-PWM实现,仿真中使用环流抑制,NLM中采用快速排序,两个仿真动稳态性能良好,附带仿真介绍文档,详细讲述仿真搭建过程,并附带参考文献与原理出处,内容详实 ,核心关键词: 模块化多电平变换器(MMC);两种调制策略(NLM; CPS-PWM);仿真;交流3000V-直流5000V整流;环流抑制;最近电平逼近NLM;快速排序;仿真动稳态性能;仿真介绍文档;参考文献;原理出处。,模块化多电平变换器仿真研究:NLM与CPS-PWM调制策略实现与性能分析
"基于现代控制理论的Buck变换器恒功率负载建模与Simulink仿真实践:亲手搭建与文献参考",恒功率负载下Buck变器的建模与控制simulink仿真文 件 亲手搭建 现代控制理论 附赠参考文献 另有一份word或PDF报告可加价 ,核心关键词:Buck变换器建模;恒功率负载;Simulink仿真;现代控制理论;参考文献;Word或PDF报告。,Buck变换器在恒功率负载下的建模与控制Simulink仿真研究报告
"光伏系统中的MPPT技术:布谷鸟算法与电导增量法的对比研究",光伏MPPT仿真 布谷鸟算法MPPT对照布谷鸟算法结合电导增量法MPPT。 可以看出布谷鸟结合电导增量法,追踪速度更快,波动更小。 ,光伏MPPT仿真;布谷鸟算法MPPT;布谷鸟算法结合电导增量法MPPT;追踪速度;波动,布谷鸟算法优化MPPT仿真:速度与稳定性提升研究
锂枝晶生长多场耦合C++模拟模型:元胞自动机法结合对流作用下的全尺度研究,枝晶生长Comsol仿真模型。 锂枝晶生长过程的 枝晶生长Comsol仿真模型。 锂枝晶生长过程的枝晶形貌,温度场耦合,应力场,浓度场,电势场。 C++程序,基于元胞自动机法模拟枝晶生长,能实现任意角度(偏心正方算法),同时采用LBM考虑了对流作用对枝晶生长的影响 ,关键词: 枝晶生长; Comsol仿真模型; 锂枝晶生长过程; 枝晶形貌; 温度场耦合; 应力场; 浓度场; 电势场; C++程序; 元胞自动机法; 任意角度; 偏心正方算法; LBM对流作用。,"C++程序模拟的锂枝晶生长多场耦合仿真模型"
Comsol技术:超声驻波装置下的细胞排布操控研究,Comsol 利用超声驻波装置操控细胞排布 ,Comsol; 超声驻波装置; 操控; 细胞排布,Comsol超声驻波装置操控细胞排布技术
"Comsol燃料电池模型研究:涵盖等温和不等温分析的验证与参考文献探讨",comsol燃料电池模型 等温和不等温的均有 下面是验证图以及参考文献。 ,comsol燃料电池模型; 等温模型; 不等温模型; 验证图; 参考文献,"Comsol燃料电池模型:等温与不等温对比验证图参考"
盘式电机双转单定Halbach结构电磁仿真模型:参数化调整与全周期性模型应用,盘式电机 maxwell 电磁仿真模型 双转单定结构,halbach 结构,双定单转 24 槽 20 极,18槽 1 2 极,18s16p(可做其他槽极配合) 参数化模型,内外径,叠厚等所有参数均可调整 默认模型仅作学习用,未做商业化优化 如需优化请给出参数(另外收费) 全模型和周期性模型都有 其他结构也可做 最低maxwell2021r1 版本 ,盘式电机;Maxwell电磁仿真模型;双转单定结构;Halbach结构;参数化模型;内外径调整;叠厚调整;全模型;周期性模型;最低版本要求。,Maxwell电磁仿真模型:盘式电机双转单定结构参数化模型
"COMSOL模拟实验室:探究CO2驱替甲烷的规律与流固耦合竞争机制",COMSOL模拟实验室注入CO2驱替甲烷。 该案列介绍COMSOL实现实验室中CO2驱替甲烷的规律,采用CO2与甲烷分子之间的竞争流固耦合的方法。 ,COMSOL模拟; CO2驱替甲烷; 竞争流固耦合; 实验室研究,COMSOL模拟实验室CO2驱替甲烷规律研究