`

zeppelin,hadoop,spark 运行失败解决

阅读更多
运行zeppelin 0.6.×时遇到问题:(0.7.*不需要下面的步骤的)
1. java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/

solution:
cd zeppelin-0.6.2-bin-all/lib
rm hadoop-annotations-×××.jar
rm hadoop-auth-×××.jar
rm hadoop-common-×××.jar

cp spark/jars/hadoop-annotations-×××.jar ./
cp spark/jars/hadoop-auth-×××.jar ./
cp spark/jars/hadoop-common-×××.jar ./

重启zeppelin 又出现下面问题:
2.  Spark Error: Could not initialize class org.apache.spark.rdd.RDDOperationScope
solution:
cd zeppelin-0.6.2-bin-all/lib
rm jackson-annotations-×××.jar
rm jackson-core-×××.jar
rm jackson-databind-×××.jar

cp spark/jars/jackson-databind-×××.jar ./
cp spark/jars/jackson-core-×××.jar ./
cp spark/jars/jackson-annotations-×××.jar ./

再重启zeppelin 解决问题,删完拷完后一定要重启zeppelin

-----------------------------------------------------------------------------------------------------------------------------------------


zeppelin 加上用户名密码登入功能,需要修改配置
conf/shiro.ini  [urls] 改成如下所示
[urls]
#/api/version = anon
/api/interpreter/** = authc, roles[admin]
/api/configurations/** = authc, roles[admin]
/api/credential/** = authc, roles[admin]
#/** = anon
/** = authc

在[users] 下添加用户名和密码和roles,roles 没啥用

在conf/zeppelin-site.xml
修改下面这项:
<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>false</value>
  <description>Anonymous user allowed by default</description>
</property>

修改完配置就得重启才能生效
分享到:
评论

相关推荐

    浅谈七种常见的Hadoop和Spark项目案例

    【描述】:本文将探讨Hadoop和Spark在实际项目中的常见应用,旨在帮助读者理解这两种大数据技术如何助力企业解决各种问题。 【标签】:Hadoop Spark 项目案例 【正文】: 1. 数据整合 数据整合项目,通常被称为...

    zeppelin-spark-notebook:Docker compose和一些笔记本可通过Spark沙箱快速启动并运行

    《使用Docker Compose快速启动Zeppelin Spark Notebook》 在当今大数据分析领域,Apache Zeppelin以其交互式的笔记本体验,成为了数据分析、数据科学以及机器学习项目中的热门工具。它支持多种语言,包括Python、...

    spark,hadoop生态圈总结

    Hadoop和Spark生态圈是大数据处理领域中两个非常重要的生态体系。Hadoop生态圈基于Hadoop框架,主要由HDFS、MapReduce、YARN等核心组件构成,用于处理大规模数据集。Spark生态圈则基于Spark,提供了一个快速的分布式...

    bigdata-docker-compose:Hadoop,Hive,Spark,Zeppelin和Livy

    大数据游乐场:通过Docker-compose与Hadoop,Hive,Spark,Zeppelin和Livy集群。 我希望能够轻松地处理各种大数据应用程序,即Amazon EMR中的那些应用程序。 理想情况下,这可以在一个命令中提出和拆除。 这就是这...

    一键安装jdk+mysql+hadoop+hive+zeppelin.rar

    标题中的"一键安装jdk+mysql+hadoop+hive+zeppelin.rar"表明这是一个包含Java开发环境(JDK)、MySQL数据库、Hadoop分布式计算框架、Hive数据仓库工具以及Zeppelin交互式数据分析平台的一键安装包。这个压缩包为用户...

    zeppelin-0.8.0-bin-all.tgz

    2. **配置环境**:修改 `conf/zeppelin-env.sh` 文件,配置环境变量如 `ZEPPELIN_HOME`,并根据你的环境设置 Spark、Hadoop 等相关连接参数。 3. **启动 Zeppelin**:在 Zeppelin 目录下运行 `bin/zeppelin-daemon....

    实验4 操作手册 基于Spark MLlib的开源软件项目流行度预测1

    如果遇到由于Zeppelin自带jar包与Hadoop或Spark版本不兼容导致的问题,通常需要升级或替换这些jar包。对于特定的NoSuchMethodError,需要检查依赖库的版本,并按需更新。 ### 4. 实验流程 实验流程主要包括数据加载...

    zeppelin-0.8.1-bin-all.tgz

    "zeppelin-0.8.1-bin-all.tgz" 是Zeppelin的一个发行版本,包含了所有必要的文件,使得用户可以直接在本地或集群环境中部署和运行Zeppelin。 在0.8.1版本中,Zeppelin提供了多种内建的解释器,支持包括Hive在内的...

    apache zeppelin使用文档

    3. **启动服务**:运行相应的脚本来启动 Zeppelin 服务。默认情况下,Zeppelin 会在浏览器中通过 `http://&lt;IP&gt;:8080` 进行访问。 #### 四、Apache Zeppelin 的基本使用 ##### 1. 创建一个新的 Notebook - 打开 ...

    zeppelin&amp;说明书.rar

    它支持多种数据处理引擎,如Spark、Hadoop MapReduce、Flink等,使得数据科学家和分析师可以方便地在不同框架间切换,进行多元化的数据分析。 **二、Linux环境下的Zeppelin安装** 1. **系统准备**:确保你的Linux...

    spark mac 版本

    如果这是Spark的图形用户界面(如SparkR或者Zeppelin),你需要将其拖放到应用程序文件夹中,然后通过Finder或Dock来启动。 总结,Spark在Mac上的安装和使用涉及到下载、解压、配置环境变量、运行Shell、集成IDE...

    喜p:喜p包含许多用于在HPC环境(包括Hadoop和Spark)中运行大数据软件的脚本。 支持Lustre,Slurm,Moab和Torque。 LSF等

    到目前为止,支持Hadoop,Spark,Hbase,Storm,Pig,Mahout,Phoenix,Kafka,Zeppelin,Zookeeper和Alluxio。 它当前支持在并行文件系统Lustre上运行,以及在任何通用网络文件系统上运行。 Slurm,Moab,Torque和...

    Spark生态和安装部署

    4. 配置环境变量:将Spark的安装路径添加到系统环境变量中,以便能够从任何地方运行Spark。 5. 启动Spark:按照不同的部署模式启动Spark集群。 关于Spark的实用工具,有许多第三方工具可以和Spark配合使用,比如...

    大数据技术分享 Spark技术讲座 使用Apache Spark调整Spark 共45页.pdf

    大数据技术分享与...讲座可能会讨论如何通过合理地配置和使用Apache Spark来提高大数据处理的效率,解决在生产环境中遇到的问题,如资源浪费、低性能等,并且会给出如何使用Spark优化大数据应用的具体策略和技巧。

    大数据平台notebook工具-Zeppelin

    解决方法是将 Zeppelin 中的旧版本 Hadoop 相关 JAR 文件备份,并替换为与 Spark 版本兼容的 JAR 文件。 - 问题 2 的解决方案未提供,但通常这类问题可能涉及到依赖冲突或配置错误,需要检查相关日志并根据错误信息...

    虚拟机zeppelin安装

    Zeppelin是由Apache软件基金会维护的一个开源项目,它的主要目标是提供一个易于使用的、多用户交互式的环境,支持多种大数据处理引擎如Spark、Hadoop等。用户可以通过Web界面编写和执行笔记(Notebook),这些笔记...

    java8看不到源码-docker-spark-hive-zeppelin:docker-spark-hive-zeppelin

    看不到源码docker-spark-hive-zeppelin 组件 Spark v.2.2.2 蜂巢 v.2.3.3 齐柏林飞艇 v.0.8.0 Hadoop 3.1.1 Traefik 1.6.5 支持的基础设施 Kubernetes(k8s) 支持 docker-compose Docker Swarm(长时间未测试) ...

    藏经阁-Spark Streaming-as-a-service.pdf

    接着,作者介绍了 Hopsworks,一个基于 Hops Hadoop 的 Spark/Flink/Kafka/Tensorflow/Hadoop as-a-service 平台,提供了一个完整的数据处理解决方案。 在 Hadoop 的演进过程中,作者指出 Hadoop 的缺陷,即 ...

Global site tag (gtag.js) - Google Analytics