`

Flume: morphline sink with solr 5.1.0

 
阅读更多

1.  down flume 1.5.2 source code and change solr version to 5.1.0 

2. compile  and install

3. cp solr 4.10.1 related jars to lib dir  to sove this error

CloudSolrServer' (current frame, stack[2]) is not assignable to 'org/apache/solr/client/solrj/SolrServer

 

4. alter solr's schema.xml  for some fieldtype  to dealwith these errors

change distanceUnits="kilometers"  =====>     units="degrees"

 

SolrException: Must specify units="degrees" on field types with class SpatialRecursivePrefixTreeFieldType

SolrException: Must specify units="degrees" on field types with class BBoxField

 

But, there are  still some confilcts  such as

SolrException: Could not find collection  (Due to using solr-solrj-4.10.1.jar  to access solr 5.1.0 cloud)

 

org/kitesdk/morphline/solr/SolrLocator', 'org/apache/solr/client/solrj/impl/CloudSolrServer

 

The kitesdk jars still can't support solr5.1.0 till now.  So, only way is to modify kitesdk !

 

You should replace kite-morphlines-solr-core-0.12.0.jar with the new jar which support solr5.1.0

 

-----------------------------------------------

alter solrcloud configure files in zookeeper

1. #zkCli.sh

   #ls /

  #rmr  /configs/fifo_task

 

2. use solr's zkCli.sh to upload configure files to zookeeper

#./scripts/cloud-scripts/zkcli.sh -cmd upconfig -zkhost 192.168.0.135:2181 -collection task -confname fifo_task -solrhome solr -confdir solr/configsets/fifo_configs/conf

3. unload cores in solr webui and then load them.

 

 

 

 

分享到:
评论

相关推荐

    (源码)基于Flume和Morphline的Solr数据处理系统.zip

    # 基于Flume和Morphline的Solr数据处理系统 ## 项目简介 本项目是一个基于Apache Flume和Morphline框架的Solr数据处理系统。Flume是一个分布式、可靠且高可用的服务,用于高效地收集、聚合和移动大量日志数据。...

    flume:构建高可用、可扩展的海量日志采集系统

    flume:构建高可用、可扩展的海量日志采集系统 flume:构建高可用、可扩展的海量日志采集系统

    Flume++构建高可用、可扩展的海量日志采集系统pdf

    其中上篇介绍了HDFS以及流式数据/日志的问题,同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构,包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件(源、...

    Flume+Solr演示demo.pdf

    然后通过Flume配置好的Morphline进行必要的数据格式化和清洗,最后由Solr进行索引处理。这样,当用户需要对日志进行搜索分析时,可以直接利用Solr提供的强大搜索功能,实现快速且有效的数据检索。 ### 结语 综上所...

    flume定制化sink

    flume定制化sink,用于参考,使用了多线程及读取配置文件的技术

    flume sink直写mysql

    flume 自定义sink组件 实现sink直接写入mysql数据库

    flume-ng安装

    在 `conf/flume-conf.properties` 文件中配置 Sink: ``` agent.sinks.remotesink.type = avro agent.sinks.remotesink.hostname = master agent.sinks.remotesink.port = 44444 ``` 5. 启动 Flume-NG 使用以下命令...

    Flume-InfluxDB-Sink:Flume Sink与最新的InfluxDB版本兼容

    要部署它,请在flume类路径中复制flume-influxdb-sink-0.0.2.jar及其依赖项。 一个胖罐子,包括maven在build中的所有依赖项,因此也可以将其复制。 配置 这是示例接收器配置: agent.sinks.influx.type = ...

    Flume 构建高可用、可扩展的海量日志采集系统

    3. Sink(接收器):是Flume数据流的终点,负责将数据从channel中取出并发送到目标位置,如HDFS(Hadoop Distributed File System)、Kafka、Solr或Elasticsearch等。Flume提供了丰富的sink选择,以适应不同的数据...

    Apache Flume, Distributed Log Collection for Hadoop(第二版)

    Apache Flume, Distributed Log Collection for Hadoop,2015 第二版,Packt Publishing

    完整的flume教程

    Flume:构建高可用、可扩展的海量日志采集系统 第一部分

    Flume配置双HA hdfsSink.docx

    ### Flume配置双HA HDFS Sink详解 #### 一、背景与需求分析 Apache Flume 是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。它具有简单的可扩展架构,易于定制和部署。然而,在某些情况下,用户...

    如何设计一套Flume进阶课程体系+编程+研发

    flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+编程+研发; flume进阶:如何设计一套Flume进阶课程体系+...

    FlumeKafkaSink:Flume-ng Sink 插件生成到 Kafka

    // Assembly with dependencies mvn assembly:assembly -DskipTests=true Flume-NG 的配置 # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = ...

    rocketmq-flume:用于RocketMQ与Flume-ng之间的消息接收和投递

    rocketmq-flume Source&Sink该项目用于与之间的消息接收和投递。首先请确定您已经对和有了基本的了解确保本地maven库中已经存在,或者下载RocketMQ源码自行编译在rocketmq-flume项目根目录执行mvn clean install ...

    spark-streaming-flume-sink_2.11-2.0.0.jar

    spark-streaming-flume-sink_2.11-2.0.0.jar的jar包。

Global site tag (gtag.js) - Google Analytics