`

flink集成elasticsearch5.4,运行异常解决

 
阅读更多

异常信息:

java.lang.NoSuchMethodError: io.netty.buffer.CompositeByteBuf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf;

	at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.java:122)

	at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:396)

	at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:95)

	at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1121)

	at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1110)

	at org.elasticsearch.transport.TcpTransport.executeHandshake(TcpTransport.java:1606)

	at org.elasticsearch.transport.TcpTransport.openConnection(TcpTransport.java:577)

	at org.elasticsearch.transport.TcpTransport.openConnection(TcpTransport.java:117)

	at org.elasticsearch.transport.TransportService.openConnection(TransportService.java:351)

	at org.elasticsearch.client.transport.TransportClientNodesService$SimpleNodeSampler.doSample(TransportClientNodesService.java:407)

	at org.elasticsearch.client.transport.TransportClientNodesService$NodeSampler.sample(TransportClientNodesService.java:357)

	at org.elasticsearch.client.transport.TransportClientNodesService.addTransportAddresses(TransportClientNodesService.java:198)

	at org.elasticsearch.client.transport.TransportClient.addTransportAddresses(TransportClient.java:332)

	at com.jd.bdp.apus.flink.jmq.utils.SecurityClient.client(SecurityClient.java:42)

	at com.jd.bdp.apus.flink.jmq.operators.JmpMapFunction.open(JmpMapFunction.java:49)

	at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)

	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)

	at org.apache.flink.streaming.runtime.tasks.StreamTask.openAllOperators(StreamTask.java:420)

	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:296)

	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:712)

	at java.lang.Thread.run(Thread.java:748)

 解决方案:

Settings settings = Settings.builder().put("cluster.name", ClusterName)
        .put("client.transport.sniff", false)
        .put("transport.type","netty3")
        .put("http.type", "netty3")
        .build();

  加红的两行:

     .put("transport.type","netty3")

     .put("http.type", "netty3")

分享到:
评论

相关推荐

    flink-es7:为了使用Elasticsearch连接器,使用构建自动化工具(如Maven或SBT)的两个项目和带有SQL

    flink-es7:为了使用Elasticsearch连接器,使用构建自动化工具(如Maven或SBT)的两个项目和带有SQL

    flink写入es带有用户名密码

    在大数据处理领域,Apache Flink 是一款强大的流处理框架,而Elasticsearch(ES)则是一种流行的实时分布式搜索引擎和分析引擎。将Flink与Elasticsearch集成,可以实现实时数据流的高效存储和检索。当Elasticsearch...

    flink1.11写入ES7.10完整代码(JAVA程序实现)

    在本文中,我们将深入探讨如何使用Apache Flink 1.11版本将数据写入Elasticsearch (ES) 7.10。Flink是一个强大的流处理和批处理框架,而Elasticsearch则是一个实时的分布式搜索和分析引擎,常用于大数据的存储和检索...

    Flink实时同步ElasticSearch数据到Doris

    Flink实时同步ElasticSearch数据到Doris

    如何基于Flink+TensorFlow打造实时智能异常检测平台

    本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲,他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台,以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力...

    Flink无法获取Kafka Topic Metadata异常及解决.docx

    Flink 无法获取 Kafka ...本文总结了 Flink 无法获取 Kafka Topic Metadata 异常的原因和解决方法,解决了 Kafka 安全认证问题,确保 Flink 可以成功获取 Kafka Topic Metadata,提高了 Flink 和 Kafka 的集成性能。

    flink如何写入Elasticsearch5和Elasticsearch7

    5. **Maven依赖**: 不同版本的Elasticsearch需要对应版本的Flink连接器,如`flink-connector-elasticsearch5_2.11`和`flink-connector-elasticsearch7_2.11`。 6. **配置**: 包括Elasticsearch集群名称和连接地址,...

    Apache Flink 和 Elasticsearch 助⼒实时 OLAP 平台.pdf

    Apache Flink和Elasticsearch是当前大数据技术栈中非常流行的开源工具,它们在构建实时OLAP(在线分析处理)平台方面发挥了重要作用。去哪儿网作为一个大型在线旅行服务公司,其实时计算负责人徐骁在...

    CDH6.3.2集成flink1.14.5 parcel

    7. **测试集成**:集成后,应通过运行简单的Flink作业来验证其功能,例如流处理或批处理任务,确保Flink可以在CDH环境中正常运行和处理数据。 8. **监控和维护**:集成后的系统需要监控其性能和稳定性,确保Flink...

    flink1.12.0集成或者连接hive3.1.2的依赖包

    标题提到的是 Flink 1.12.0 版本与 Hive 3.1.2 版本的集成,这是一个常见的需求,因为这两大组件的结合能够提供强大的实时数据分析解决方案。在 Flink 1.12.0 中,已经对 Hive 连接器进行了优化和增强,使其更加稳定...

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    在大数据领域,构建一个完整的生态系统是至关重要的,其中包括多个组件,如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作,提供了数据存储、处理、调度、流...

    flink 1.14.4 集成 hive 3.12 的依赖包

    flink 集成 hive 所需要的依赖包,包括 antlr-runtime-3.5.2.jar flink-connector-hive_2.12-1.14.4.jar flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-...

    Ambari集成flink1.9.3

    在本篇中,我们将探讨如何集成 Flink 1.9.3 版本到 Ambari 中,以便在 Hadoop 集群上更方便地运行 Flink 作业。 **1. 资源准备** 在集成 Flink 之前,你需要准备以下资源: - 下载 Flink 1.9.3 的二进制包,例如 `...

    Flink集成hive

    ### Flink集成Hive知识点详解 #### 一、Flink与Hive集成概述 Apache Flink 是一个用于处理无界和有界数据流的开源流处理框架,它提供了丰富的API来构建复杂的数据处理管道。而Apache Hive则为用户提供了一种SQL的...

    cdh6.3.1 FLINK_ON_YARN-1.14.0.jar

    CDH6.3.1集成安装flink on yarn服务(通过parcel制作生成的csd文件) 文件名:FLINK_ON_YARN-1.14.0.jar 相关信息如下: 1. flink版本号:1.14.0 2. 系统版本:CentOS7.7 3. CDH版本:6.3.1 4. 扩展版本号:BIN-...

    基于Flink的安全数据分析与异常检测.pdf

    这篇文档主要探讨了如何基于Flink进行安全领域的实时数据分析与异常检测,以及如何利用ELK(Elasticsearch、Logstash、Kibana)进行日志收集和分析。 安全领域的特点是数据来源多样、数据类型复杂,且数据流是无限...

    在idea中运行flink程序所需要lib

    在开发Apache Flink项目时,Idea(IntelliJ IDEA)是一个常见的集成开发环境选择,它提供了丰富的功能来支持Flink程序的编写、构建和运行。"在idea中运行flink程序所需要lib"这一主题主要涉及到如何配置Idea以便顺利...

    从ELK 到 EFK结合 Flink 和 Elasticsearch 新特性重构全观测方案.pdf

    从ELK 到 EFK结合 Flink 和 Elasticsearch 新特性重构全观测方案.pdf

    CDH6.3.2集成Flink1.14.4

    1、资源包括commons-cli-1.5.0,flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...

    flink-sql集成rabbitmq

    标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合,实现数据的实时处理和传输。Flink是一个开源的流处理框架,提供低延迟、高吞吐量的数据处理,而RabbitMQ是一...

Global site tag (gtag.js) - Google Analytics