`

cdh4源码编译完成

 
阅读更多
     之前一直是编译不成功，google protocol buffer一直不通过，多谢@董的博客的指点，说是protocol buffer的版本不对，我用的是2.5.0。换了2.4.1就好了。
     之前尝试在windows下通过cygwin去做这些事情，但是太蛋疼了。不过现在想来当时太着急了，其实应该也是可以的。

   然后是jdk的tools.jar，这个是要需要导入的。

    后面还是有些test的java文件没有，然后我去grepcode找到了对应的，导入到项目中来。如
http://grepcode.com/file/repo1.maven.org/maven2/org.apache.hadoop/hadoop-common-test/0.22.0/org/apache/hadoop/record/RecRecordNew.java?av=f

   最后终于是好了：




  • 大小: 17.1 KB
  • 大小: 8.3 KB
0
顶
2
踩
分享到：
| eclipse包视图定位当前类
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop 源码编译所需软件

    6. **部署与集成**：编译完成后，将编译好的二进制文件部署到Hadoop集群中，然后进行集成测试，验证Hadoop CDH的完整功能。 通过以上步骤，我们可以看到，"Hadoop CDH 源码编译所需软件"这个主题涵盖了大数据处理的...

    CDH5.13-phoenix-4.11.0-HBase-1.2源码包 编译可用

    通过以上步骤，我们就完成了Phoenix 4.11.0-HBase 1.2在CDH5.13上的源码编译和部署。在实际环境中，可能还需要关注性能优化、安全性设置、监控和日志分析等方面，确保系统的稳定运行。理解并掌握这一过程，对于深度...

    编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包

    为了编译Hadoop的源码并集成Snappy，我们需要完成以下步骤： 1. **系统准备**： - 安装必要的开发工具：在CentOS 6.5上，你需要确保已安装GCC、make、automake、libtool、curl、wget等基础开发工具。 - 安装Java...

    hadoop-2.5.0-cdh5.3.6 编译native包

    6. **测试编译结果**：编译完成后，可以运行Hadoop的测试程序，验证native库是否正常工作。 7. **部署与使用**：将编译好的native库复制到Hadoop的lib目录下，并更新配置文件，使Hadoop知道如何使用这些本地库。 ...

    atlas2.1+CDH6.3.2.rar

    编译完成后，部署Apache Atlas到CDH集群是一项关键任务。这通常涉及将编译好的Atlas服务部署到Hadoop集群中的NameNode或ResourceManager节点，配置相应的配置文件，如atlas-application.properties，以指定HBase、...

    CDH集成Flink.doc

    总结来看，本文档主要介绍了如何从源码编译Flink，并针对CDH集群的需求进行了特别的配置，最终生成了适用于CDH集群的Flink安装包。这对于想要在CDH集群上部署定制化Flink版本的用户来说是非常有价值的参考资料。

    CDH6配置Flink1.12.0(编译安装).pdf

    4. **安装**：将编译生成的二进制包安装到集群上，安装过程中可能会涉及对Flink配置文件的修改，比如`flink-conf.yaml`和`log4j.properties`等，以便配置与CDH集群和Hadoop环境的集成。 #### 集成到CDH 在Flink...

    cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

    确保使用兼容的Hadoop版本进行编译，例如 `<hadoop.version>3.0.0-cdh6.2.0</hadoop.version>`。 2. **Protobuf的安装**： Tez的编译过程需要Protobuf库，因此需要先下载并安装Protobuf 2.5.0版本。安装时可能需要...

    cdh6.3.2集成flink1.12.0所需要的编译好的包

    总的来说，CDH 6.3.2 集成 Flink 1.12.0 的过程是一项技术挑战，但一旦完成，就可以在 CDH 平台上充分利用 Flink 的实时处理能力和高级流处理特性，为企业的数据分析提供强大支持。这个集成过程不仅涉及到软件配置，...

    cdh6.3.2集成flink1.10.2-parcel包(亲测可用)

    描述中提到"源码编译制作的parcel包"，意味着这个Parcel是由Flink的源代码编译生成的，确保了与最新版本的Flink兼容，并且适应于特定的CDH环境。"centos7.5+cdh6.3.2+scala2.12亲测可用"确认了这个Parcel在这些特定...

    CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip

    5. **安装与部署**：编译完成后，将生成的jar包和其他相关文件复制到CDH集群的相应位置，如`$HADOOP_HOME/share/hadoop/tez`目录下。 6. **配置调整**：根据具体需求，可能需要修改`tez-site.xml`配置文件以优化...

    Flink1.12.3+CDH6.3.1集成.docx

    源码编译是Flink与CDH集成的关键步骤，这里涉及到对Flink源码的定制，以适应CDH的环境。 1. **配置Vendor Repositories**：进入`shaded`目录，打开`pom.xml`文件，添加一个新的配置段`<profile>`。这段配置指定了...

    成功编译后的 spark-2.1.0-bin-2.6.0-cdh5.7.0

    你提到的"成功编译后的文件"意味着你已经完成了这一过程，克服了可能遇到的依赖冲突、版本不兼容等问题，这通常需要对Spark源码和构建工具（如Maven或Gradle）有深入理解。编译后的Spark二进制包包含了运行Spark所需...

    CDH 5.5.0 - 安装文档(Hadoop详细版)

    可以从[Python官网](https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz)下载源码包，并自行编译安装。 2. **JDK 7 Update 80**：Java是运行Hadoop和CDH的基础，因此确保安装正确的JDK版本至关重要。...

    hue-3.9.0-cdh5.12.1.tar.gz

    在压缩包文件"hue-3.9.0-cdh5.12.1"中，包含了HUE 3.9.0的所有源码和配置文件，用户可以自行编译安装或直接使用预编译的二进制包。安装完成后，通过Web界面即可访问和使用HUE的各项功能。需要注意的是，在实际部署时...

    hadoop-2.6.0-cdh5.10.2-bin

    完成编译后，会在目标目录生成编译好的二进制文件，其中“bin”目录尤为重要。 "bin"目录是Hadoop的命令行工具所在的地方，包含了执行Hadoop操作的基本命令，如启动、停止Hadoop服务的脚本。其中，`hadoop`是Hadoop...

    cdh6.3.2 离线安装5个所需文件及安装小笔记

    4. **配置主机和网络**：在所有参与的服务器上配置好主机名和静态IP地址，确保它们之间能够互相通信。 5. **安装Cloudera Manager**：在管理节点上，解压并安装Cloudera Manager Server和DB。执行安装脚本，指定...

    flink-1.10.2-bin-scala_2.12.tgz

    《Flink 1.10.2 源码编译与在CDH6.3.2上的应用详解》 Apache Flink是一个流行的开源大数据处理框架，它支持流处理和批处理，以其低延迟和高吞吐量而受到广泛关注。在本篇中，我们将深入探讨如何基于CDH6.3.2平台，...

    DolphinScheduler+海豚

    4. **验证**： - 通过再次尝试连接Hive数据源，检查问题是否已经解决。 - 查看日志确认没有出现之前的错误信息。 #### 四、注意事项 - 在进行Jar包替换前，务必确保新版本的Hive Jar包与当前Hadoop集群版本兼容...

Magicbox
Global site tag (gtag.js) - Google Analytics