1. down flume 1.5.2 source code and change solr version to 5.1.0
2. compile and install
3. cp solr 4.10.1 related jars to lib dir to sove this error
CloudSolrServer' (current frame, stack[2]) is not assignable to 'org/apache/solr/client/solrj/SolrServer
4. alter solr's schema.xml for some fieldtype to dealwith these errors
change distanceUnits="kilometers" =====> units="degrees"
SolrException: Must specify units="degrees" on field types with class SpatialRecursivePrefixTreeFieldType
SolrException: Must specify units="degrees" on field types with class BBoxField
But, there are still some confilcts such as
SolrException: Could not find collection (Due to using solr-solrj-4.10.1.jar to access solr 5.1.0 cloud)
org/kitesdk/morphline/solr/SolrLocator', 'org/apache/solr/client/solrj/impl/CloudSolrServer
The kitesdk jars still can't support solr5.1.0 till now. So, only way is to modify kitesdk !
You should replace kite-morphlines-solr-core-0.12.0.jar with the new jar which support solr5.1.0
-----------------------------------------------
alter solrcloud configure files in zookeeper
1. #zkCli.sh
#ls /
#rmr /configs/fifo_task
2. use solr's zkCli.sh to upload configure files to zookeeper
#./scripts/cloud-scripts/zkcli.sh -cmd upconfig -zkhost 192.168.0.135:2181 -collection task -confname fifo_task -solrhome solr -confdir solr/configsets/fifo_configs/conf
3. unload cores in solr webui and then load them.
相关推荐
# 基于Flume和Morphline的Solr数据处理系统 ## 项目简介 本项目是一个基于Apache Flume和Morphline框架的Solr数据处理系统。Flume是一个分布式、可靠且高可用的服务,用于高效地收集、聚合和移动大量日志数据。...
flume:构建高可用、可扩展的海量日志采集系统 flume:构建高可用、可扩展的海量日志采集系统
其中上篇介绍了HDFS以及流式数据/日志的问题,同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构,包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件(源、...
然后通过Flume配置好的Morphline进行必要的数据格式化和清洗,最后由Solr进行索引处理。这样,当用户需要对日志进行搜索分析时,可以直接利用Solr提供的强大搜索功能,实现快速且有效的数据检索。 ### 结语 综上所...
flume定制化sink,用于参考,使用了多线程及读取配置文件的技术
flume 自定义sink组件 实现sink直接写入mysql数据库
要部署它,请在flume类路径中复制flume-influxdb-sink-0.0.2.jar及其依赖项。 一个胖罐子,包括maven在build中的所有依赖项,因此也可以将其复制。 配置 这是示例接收器配置: agent.sinks.influx.type = ...
3. Sink(接收器):是Flume数据流的终点,负责将数据从channel中取出并发送到目标位置,如HDFS(Hadoop Distributed File System)、Kafka、Solr或Elasticsearch等。Flume提供了丰富的sink选择,以适应不同的数据...
在 `conf/flume-conf.properties` 文件中配置 Sink: ``` agent.sinks.remotesink.type = avro agent.sinks.remotesink.hostname = master agent.sinks.remotesink.port = 44444 ``` 5. 启动 Flume-NG 使用以下命令...
Apache Flume, Distributed Log Collection for Hadoop,2015 第二版,Packt Publishing
Flume:构建高可用、可扩展的海量日志采集系统 第一部分
### Flume配置双HA HDFS Sink详解 #### 一、背景与需求分析 Apache Flume 是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。它具有简单的可扩展架构,易于定制和部署。然而,在某些情况下,用户...
flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+...
// Assembly with dependencies mvn assembly:assembly -DskipTests=true Flume-NG 的配置 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = ...
rocketmq-flume Source&Sink该项目用于与之间的消息接收和投递。首先请确定您已经对和有了基本的了解确保本地maven库中已经存在,或者下载RocketMQ源码自行编译在rocketmq-flume项目根目录执行mvn clean install ...
spark-streaming-flume-sink_2.11-2.0.0.jar的jar包。