异常信息:
java.lang.NoSuchMethodError: io.netty.buffer.CompositeByteBuf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf; at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.java:122) at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:396) at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:95) at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1121) at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1110) at org.elasticsearch.transport.TcpTransport.executeHandshake(TcpTransport.java:1606) at org.elasticsearch.transport.TcpTransport.openConnection(TcpTransport.java:577) at org.elasticsearch.transport.TcpTransport.openConnection(TcpTransport.java:117) at org.elasticsearch.transport.TransportService.openConnection(TransportService.java:351) at org.elasticsearch.client.transport.TransportClientNodesService$SimpleNodeSampler.doSample(TransportClientNodesService.java:407) at org.elasticsearch.client.transport.TransportClientNodesService$NodeSampler.sample(TransportClientNodesService.java:357) at org.elasticsearch.client.transport.TransportClientNodesService.addTransportAddresses(TransportClientNodesService.java:198) at org.elasticsearch.client.transport.TransportClient.addTransportAddresses(TransportClient.java:332) at com.jd.bdp.apus.flink.jmq.utils.SecurityClient.client(SecurityClient.java:42) at com.jd.bdp.apus.flink.jmq.operators.JmpMapFunction.open(JmpMapFunction.java:49) at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36) at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102) at org.apache.flink.streaming.runtime.tasks.StreamTask.openAllOperators(StreamTask.java:420) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:296) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:712) at java.lang.Thread.run(Thread.java:748)
解决方案:
Settings settings = Settings.builder().put("cluster.name", ClusterName) .put("client.transport.sniff", false) .put("transport.type","netty3") .put("http.type", "netty3") .build();
加红的两行:
.put("transport.type","netty3")
.put("http.type", "netty3")
相关推荐
flink-es7:为了使用Elasticsearch连接器,使用构建自动化工具(如Maven或SBT)的两个项目和带有SQL
在大数据处理领域,Apache Flink 是一款强大的流处理框架,而Elasticsearch(ES)则是一种流行的实时分布式搜索引擎和分析引擎。将Flink与Elasticsearch集成,可以实现实时数据流的高效存储和检索。当Elasticsearch...
在本文中,我们将深入探讨如何使用Apache Flink 1.11版本将数据写入Elasticsearch (ES) 7.10。Flink是一个强大的流处理和批处理框架,而Elasticsearch则是一个实时的分布式搜索和分析引擎,常用于大数据的存储和检索...
Flink实时同步ElasticSearch数据到Doris
本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲,他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台,以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力...
Flink 无法获取 Kafka ...本文总结了 Flink 无法获取 Kafka Topic Metadata 异常的原因和解决方法,解决了 Kafka 安全认证问题,确保 Flink 可以成功获取 Kafka Topic Metadata,提高了 Flink 和 Kafka 的集成性能。
5. **Maven依赖**: 不同版本的Elasticsearch需要对应版本的Flink连接器,如`flink-connector-elasticsearch5_2.11`和`flink-connector-elasticsearch7_2.11`。 6. **配置**: 包括Elasticsearch集群名称和连接地址,...
Apache Flink和Elasticsearch是当前大数据技术栈中非常流行的开源工具,它们在构建实时OLAP(在线分析处理)平台方面发挥了重要作用。去哪儿网作为一个大型在线旅行服务公司,其实时计算负责人徐骁在...
7. **测试集成**:集成后,应通过运行简单的Flink作业来验证其功能,例如流处理或批处理任务,确保Flink可以在CDH环境中正常运行和处理数据。 8. **监控和维护**:集成后的系统需要监控其性能和稳定性,确保Flink...
标题提到的是 Flink 1.12.0 版本与 Hive 3.1.2 版本的集成,这是一个常见的需求,因为这两大组件的结合能够提供强大的实时数据分析解决方案。在 Flink 1.12.0 中,已经对 Hive 连接器进行了优化和增强,使其更加稳定...
在大数据领域,构建一个完整的生态系统是至关重要的,其中包括多个组件,如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作,提供了数据存储、处理、调度、流...
flink 集成 hive 所需要的依赖包,包括 antlr-runtime-3.5.2.jar flink-connector-hive_2.12-1.14.4.jar flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar flink-sql-connector-hive-3.1.2_2.12-1.14.4.jar hive-...
在本篇中,我们将探讨如何集成 Flink 1.9.3 版本到 Ambari 中,以便在 Hadoop 集群上更方便地运行 Flink 作业。 **1. 资源准备** 在集成 Flink 之前,你需要准备以下资源: - 下载 Flink 1.9.3 的二进制包,例如 `...
### Flink集成Hive知识点详解 #### 一、Flink与Hive集成概述 Apache Flink 是一个用于处理无界和有界数据流的开源流处理框架,它提供了丰富的API来构建复杂的数据处理管道。而Apache Hive则为用户提供了一种SQL的...
CDH6.3.1集成安装flink on yarn服务(通过parcel制作生成的csd文件) 文件名:FLINK_ON_YARN-1.14.0.jar 相关信息如下: 1. flink版本号:1.14.0 2. 系统版本:CentOS7.7 3. CDH版本:6.3.1 4. 扩展版本号:BIN-...
这篇文档主要探讨了如何基于Flink进行安全领域的实时数据分析与异常检测,以及如何利用ELK(Elasticsearch、Logstash、Kibana)进行日志收集和分析。 安全领域的特点是数据来源多样、数据类型复杂,且数据流是无限...
在开发Apache Flink项目时,Idea(IntelliJ IDEA)是一个常见的集成开发环境选择,它提供了丰富的功能来支持Flink程序的编写、构建和运行。"在idea中运行flink程序所需要lib"这一主题主要涉及到如何配置Idea以便顺利...
从ELK 到 EFK结合 Flink 和 Elasticsearch 新特性重构全观测方案.pdf
1、资源包括commons-cli-1.5.0,flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...
标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合,实现数据的实时处理和传输。Flink是一个开源的流处理框架,提供低延迟、高吞吐量的数据处理,而RabbitMQ是一...