`
kylinsoong
  • 浏览: 239656 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Solr 学习笔记(五)-Solr扩展之分布式索引实例

阅读更多

准备

      当你的所有数据非常多,一台服务器无法承担,这时Sharding是一种常见的扩展解决策略,即将这些索引数据分散到不同的服务器上,而查询时Solr具备将单一的查询请求分发到多个Solr shards上,并聚集结果到一个单一的result里返回调用者。

建立分布式索引需遵循以下条件:

       索引的文档必须有一个唯一键; 当拥有相同的id的文档被查询到时,solr将选择第一个文档。其他的结果将被丢弃;在处理的过程中,也即是 stage过程中,索引是有可能发生变化的。这样在索引更新的时刻,可能会发现搜索的结果跟索引不匹配的现象。

实例描述:

操作系统:WindowsXP

Web容器:Tomcat

同时启动三个Tomcat模拟三台服务器,分配端口号分别为:8080,8888,8983

Solr配置:

注意:分布式索引不需要额外配置,已经被绑定在原有的Request Handlers上,

开始:

Step one: 向8888端口号服务器添加索引数据,原始数据见附件索引中kobe.xml

kobe.xml明细:

<add>
 <doc>
   <field name="id">107</field>
   <field name="name">LBJ is a basketball player</field>
 </doc> 
 <doc>
   <field name="id">108</field>
   <field name="name">taylor is a singer</field>
 </doc>  
 <doc>
   <field name="id">109</field>
   <field name="name">kaku is a actor</field>
 </doc> 
 <doc>
   <field name="id">110</field>
   <field name="name">tracy is a basketball player</field>
 </doc>
 <doc>
   <field name="id">111</field>
   <field name="name">Yao is a basketball player</field>
 </doc>
 <doc>
   <field name="id">112</field>
   <field name="name">me is a actor</field>
 </doc>
</add>

  

Step two: 向8983端口号服务器添加索引数据,原始数据见附件索引中jane.xml

jane.xml代码明细:

<add>
	<doc>
	  <field name="id">107</field>
	  <field name="name">LBJ is a basketball player</field>
	</doc>	
	<doc>
	  <field name="id">108</field>
	  <field name="name">taylor is a singer</field>
	</doc>		
	<doc>
	  <field name="id">109</field>
	  <field name="name">kaku is a actor</field>
	</doc>	
	<doc>
	  <field name="id">110</field>
	  <field name="name">tracy is a basketball player</field>
	</doc>
	<doc>
	  <field name="id">111</field>
	  <field name="name">Yao is a basketball player</field>
	</doc>
	<doc>
	  <field name="id">112</field>
	  <field name="name">me is a actor</field>
	</doc>
</add>

 

 

 

 

 

Step three: 测试,用浏览器作为客户端测试:

测试1: http://localhost:8888/solr/select/?q=id:102 测试结果如下:

 

 <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">0</int> 
- <lst name="params">
  <str name="q">id:102</str> 
  </lst>
  </lst>
- <result name="response" numFound="1" start="0">
- <doc>
  <str name="id">102</str> 
  <str name="name">kobe bryant is a basketball player</str> 
  </doc>
  </result>
  </response>

 

 


 

测试2: http://localhost:8983/solr/select/?q=id:112测试结果

 

<?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">15</int> 
- <lst name="params">
  <str name="q">id:112</str> 
  </lst>
  </lst>
- <result name="response" numFound="1" start="0">
- <doc>
  <str name="id">112</str> 
  <str name="name">me is a actor</str> 
  </doc>
  </result>
  </response>

 


 

测试3: http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=singer测试结果:

  <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">16</int> 
- <lst name="params">
  <str name="shards">localhost:8888/solr,localhost:8983/solr</str> 
  <str name="q">singer</str> 
  </lst>
  </lst>
- <result name="response" numFound="4" start="0">
- <doc>
  <str name="id">108</str> 
  <str name="name">taylor is a singer</str> 
  </doc>
- <doc>
  <str name="id">103</str> 
  <str name="name">jay chou is a singer</str> 
  </doc>
- <doc>
  <str name="id">104</str> 
  <str name="name">jane zhang is a singer</str> 
  </doc>
- <doc>
  <str name="id">105</str> 
  <str name="name">coco lee is a singer</str> 
  </doc>
  </result>
  </response>

 

 


 

测试4: http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=player 测试结果

 <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">16</int> 
- <lst name="params">
  <str name="shards">localhost:8888/solr,localhost:8983/solr</str> 
  <str name="q">player</str> 
  </lst>
  </lst>
- <result name="response" numFound="4" start="0">
- <doc>
  <str name="id">102</str> 
  <str name="name">kobe bryant is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">107</str> 
  <str name="name">LBJ is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">110</str> 
  <str name="name">tracy is a basketball player</str> 
  </doc>
- <doc>
  <str name="id">111</str> 
  <str name="name">Yao is a basketball player</str> 
  </doc>
  </result>
  </response>

 

 


 Step four :分析 

测试1和测试2返回的结果都是从本机上索引文件获得的,而测试3和测试4是分布式查询,它所对应主机为8080,该服务武器上没有数据,这就是分布式查询(向8888和8983),将所有结果从不同Tomcat上聚合后返回

 

也可以根据前面学习笔记(三)中提供的SolrjClient来测试分布式索引。下面在三的基础上,开启三个Tomcat,模拟三台服务器,端口布置如上所示,开启三台服务器后,利用SolrjClient提供的接口分别向三台服务器提供索引数据如下:

向8080服务器:

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 0; i < 10; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);

 


 

向8888服务器添加:

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 10; i < 20; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);

 


 

向8983服务器添加:

List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 20; i < 30; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);
 

 

然后在利用SolrjClient提供接口进行查询验证(在8080服务器上查询):

 

String[] shards = new String[]{"localhost:8080/solr","localhost:8888/solr","localhost:8983/solr"};
		String[] fields = new String[]{"id", "name", "msg"};
		List<SolrDocument> lists = client.query("kobe", 30, fields, shards);
		System.out.println(lists.size());
		show(lists);
 

 

结果如下:

 

30
id=0 msg=kobe bryant0 name=kylin soong0 
id=1 msg=kobe bryant1 name=kylin soong1 
id=2 msg=kobe bryant2 name=kylin soong2 
id=3 msg=kobe bryant3 name=kylin soong3 
id=4 msg=kobe bryant4 name=kylin soong4 
id=5 msg=kobe bryant5 name=kylin soong5 
id=6 msg=kobe bryant6 name=kylin soong6 
id=7 msg=kobe bryant7 name=kylin soong7 
id=8 msg=kobe bryant8 name=kylin soong8 
id=9 msg=kobe bryant9 name=kylin soong9 
id=10 msg=kobe bryant10 name=kylin soong10 
id=11 msg=kobe bryant11 name=kylin soong11 
id=12 msg=kobe bryant12 name=kylin soong12 
id=13 msg=kobe bryant13 name=kylin soong13 
id=14 msg=kobe bryant14 name=kylin soong14 
id=15 msg=kobe bryant15 name=kylin soong15 
id=16 msg=kobe bryant16 name=kylin soong16 
id=17 msg=kobe bryant17 name=kylin soong17 
id=18 msg=kobe bryant18 name=kylin soong18 
id=19 msg=kobe bryant19 name=kylin soong19 
id=20 msg=kobe bryant20 name=kylin soong20 
id=21 msg=kobe bryant21 name=kylin soong21 
id=22 msg=kobe bryant22 name=kylin soong22 
id=23 msg=kobe bryant23 name=kylin soong23 
id=24 msg=kobe bryant24 name=kylin soong24 
id=25 msg=kobe bryant25 name=kylin soong25 
id=26 msg=kobe bryant26 name=kylin soong26 
id=27 msg=kobe bryant27 name=kylin soong27 
id=28 msg=kobe bryant28 name=kylin soong28 
id=29 msg=kobe bryant29 name=kylin soong29 
 

 

如上结果把符合查询字符串“Kobe”的所有字符串都返回,

 

PS:上述相关代码见学习笔记(三)附件

       附件上XML文件与本文示例有些许差别……

 

结束

 

 

 

 

 

 

 

 

 

 

 


 

  • resource.rar (488 Bytes)
  • 描述: 原始数据,用来建立索引
  • 下载次数: 64
分享到:
评论

相关推荐

    solr-dataimport-scheduler.jar 可使用于solr7.x版本

    Solr 数据导入调度器(solr-dataimport-scheduler.jar)是一个专门为Apache Solr 7.x版本设计的组件,用于实现数据的定期索引更新。在理解这个知识点之前,我们需要先了解Solr的基本概念以及数据导入处理...

    支持solr6.1-solr-dataimport-scheduler-1.2.jar

    在 Solr 的生态系统中,`solr-dataimport-scheduler-1.2.jar` 是一个非常重要的组件,它允许用户定时执行数据导入任务,这对于需要定期更新索引的应用场景尤其有用。这个特定的版本 `1.2` 已经被优化以兼容 `Solr ...

    solr-mongo-importer-1.1.0.jar

    solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar

    solr-import-export-json最新代码

    solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-...

    solr-dataimport-scheduler

    Solr 数据导入调度器(solr-dataimport-scheduler)是一个实用工具,用于自动化Apache Solr中的数据导入过程,尤其适用于需要定期从关系型数据库同步数据的场景。Solr 是一个流行的开源全文搜索引擎,它提供了强大的...

    solr(solr-9.0.0-src.tgz)源码

    这里我们将围绕"solr-9.0.0-src.tgz"这个源码包,详细探讨其主要组成部分、核心功能以及开发过程中的关键知识点。 1. **Solr架构** Solr的架构基于Lucene,一个强大的全文搜索引擎库。它提供了分布式、可扩展、高...

    solr-dataimport-scheduler.jar

    经过测试可以适用solr7.4版本。如果低版本solr(6.*) 可以直接适用网上的solr-dataimport-scheduler 1.1 或者1.0版本。

    solr6--solr-dataimporthandler-scheduler-1.1

    在"solr6--solr-dataimporthandler-scheduler-1.1"这个项目中,我们关注的重点是DIH的调度功能,也就是如何定期自动更新Solr索引。 DataImportHandler(DIH)是Solr的一个插件,用于从关系型数据库或其他结构化数据...

    Apache Solr(solr-8.11.1-src.tgz)

    通过阅读源代码,你可以深入学习Solr如何处理索引、查询优化、分布式通信等问题,进一步提升你的搜索引擎技术能力。同时,参与社区贡献,如修复bug、添加新功能,也是提升个人影响力和专业技能的好途径。

    apache-solr-dataimportscheduler-1.0.zip_official54l_solr 5.x定时生成

    "apache-solr-dataimportscheduler-1.0.zip"是一个官方发布的54l版本,专门针对Solr 5.x的定时索引生成需求。 数据导入调度器(DataImportScheduler)是这个扩展的核心组件,它允许用户根据预设的时间间隔自动执行...

    solr增量更新架包apache-solr-dataimportscheduler.jar

    "apache-solr-dataimportscheduler.jar" 是一个专门为Solr设计的扩展包,用于实现自动化的数据增量更新调度。 首先,我们要理解Solr的数据导入过程。Solr使用DataImportHandler(DIH)来从关系型数据库、XML文件或...

    apache-solr-dataimporthandler-extras-1.4.0.jar.zip

    solr-dataimporthandler-extras-1.4.0.jar.zip”中,主要包含了一个名为“apache-solr-dataimporthandler-extras-1.4.0.jar”的文件,这个文件是Solr的一个重要组件——DataImportHandler(DIH)的扩展库。...

    支持solr高版本定时增量任务fix版本solr-dataimport-scheduler-fix

    这是我自己反编译fix后,支持solr7.4高版本的定时增量任务(亲测solr7.4),下载下来开箱即用。低版本的没试过,估计低版本的solr配合之前apache-solr-dataimportscheduler-1.0.jar这些能行,不行就试试我这个。

    solr-data-import-scheduler-1.1.2

    solr-data-import-scheduler-1.1.2,用于solr定时更新索引的jar包,下载后引入到solr本身的dist下面,或者你tomcat项目下面的lib下面

    solr学习笔记

    /opt/solr-5.2.1/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.10.154:2181 -cmd upconfig -collection ps_product -confdir /opt/solr-5.2.1/server/solr/configsets/data_driven_schema_configs ...

    solr(solr-9.0.0.tgz)

    在使用Solr-9.0.0时,你需要根据业务需求创建或修改配置文件,如`solrconfig.xml`和`schema.xml`,定义索引的字段类型和字段。然后可以通过POST请求将数据导入Solr,Solr会自动进行分词、建立倒排索引等操作,从而...

    solr-data-import-scheduler

    solr 增量更新所需要的包 solr-dataimporthandler-6.5.1 + solr-dataimporthandler-extras-6.5.1 + solr-data-import-scheduler-1.1.2

    Apache Solr(solr-8.11.1.tgz)

    使用Solr-8.11.1时,你需要配置Solr实例,定义你的索引字段,创建和管理索引,然后通过HTTP请求进行查询。同时,你可以利用Solr的 faceting(分面搜索)、highlighting(高亮显示)、spell checking(拼写检查)等...

    solr的学习

    复制 solr-4.10.3\example\solr 文件夹到本地的一个目录,并将文件名改为 solrhome。 3. 打开 SolrHome 目录。 4. SolrCore 创建成功。 - **配置 SolrCore** - **solrconfig.xml**:配置 SolrCore 实例的相关...

Global site tag (gtag.js) - Google Analytics