准备:
当你的所有数据非常多,一台服务器无法承担,这时Sharding是一种常见的扩展解决策略,即将这些索引数据分散到不同的服务器上,而查询时Solr具备将单一的查询请求分发到多个Solr shards上,并聚集结果到一个单一的result里返回调用者。
建立分布式索引需遵循以下条件:
索引的文档必须有一个唯一键; 当拥有相同的id的文档被查询到时,solr将选择第一个文档。其他的结果将被丢弃;在处理的过程中,也即是 stage过程中,索引是有可能发生变化的。这样在索引更新的时刻,可能会发现搜索的结果跟索引不匹配的现象。
实例描述:
操作系统:WindowsXP
Web容器:Tomcat
同时启动三个Tomcat模拟三台服务器,分配端口号分别为:8080,8888,8983
Solr配置:
注意:分布式索引不需要额外配置,已经被绑定在原有的Request Handlers上,
开始:
Step one: 向8888端口号服务器添加索引数据,原始数据见附件索引中kobe.xml
kobe.xml明细:
<add>
<doc>
<field name="id">107</field>
<field name="name">LBJ is a basketball player</field>
</doc>
<doc>
<field name="id">108</field>
<field name="name">taylor is a singer</field>
</doc>
<doc>
<field name="id">109</field>
<field name="name">kaku is a actor</field>
</doc>
<doc>
<field name="id">110</field>
<field name="name">tracy is a basketball player</field>
</doc>
<doc>
<field name="id">111</field>
<field name="name">Yao is a basketball player</field>
</doc>
<doc>
<field name="id">112</field>
<field name="name">me is a actor</field>
</doc>
</add>
Step two: 向8983端口号服务器添加索引数据,原始数据见附件索引中jane.xml
jane.xml代码明细:
<add>
<doc>
<field name="id">107</field>
<field name="name">LBJ is a basketball player</field>
</doc>
<doc>
<field name="id">108</field>
<field name="name">taylor is a singer</field>
</doc>
<doc>
<field name="id">109</field>
<field name="name">kaku is a actor</field>
</doc>
<doc>
<field name="id">110</field>
<field name="name">tracy is a basketball player</field>
</doc>
<doc>
<field name="id">111</field>
<field name="name">Yao is a basketball player</field>
</doc>
<doc>
<field name="id">112</field>
<field name="name">me is a actor</field>
</doc>
</add>
Step three: 测试,用浏览器作为客户端测试:
测试1: http://localhost:8888/solr/select/?q=id:102 测试结果如下:
<?xml version="1.0" encoding="UTF-8" ?>
- <response>
- <lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
- <lst name="params">
<str name="q">id:102</str>
</lst>
</lst>
- <result name="response" numFound="1" start="0">
- <doc>
<str name="id">102</str>
<str name="name">kobe bryant is a basketball player</str>
</doc>
</result>
</response>
测试2: http://localhost:8983/solr/select/?q=id:112测试结果
<?xml version="1.0" encoding="UTF-8" ?>
- <response>
- <lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">15</int>
- <lst name="params">
<str name="q">id:112</str>
</lst>
</lst>
- <result name="response" numFound="1" start="0">
- <doc>
<str name="id">112</str>
<str name="name">me is a actor</str>
</doc>
</result>
</response>
测试3: http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=singer测试结果:
<?xml version="1.0" encoding="UTF-8" ?>
- <response>
- <lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">16</int>
- <lst name="params">
<str name="shards">localhost:8888/solr,localhost:8983/solr</str>
<str name="q">singer</str>
</lst>
</lst>
- <result name="response" numFound="4" start="0">
- <doc>
<str name="id">108</str>
<str name="name">taylor is a singer</str>
</doc>
- <doc>
<str name="id">103</str>
<str name="name">jay chou is a singer</str>
</doc>
- <doc>
<str name="id">104</str>
<str name="name">jane zhang is a singer</str>
</doc>
- <doc>
<str name="id">105</str>
<str name="name">coco lee is a singer</str>
</doc>
</result>
</response>
测试4: http://localhost:8080/solr/select/?shards=localhost:8888/solr,localhost:8983/solr&q=player 测试结果
<?xml version="1.0" encoding="UTF-8" ?>
- <response>
- <lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">16</int>
- <lst name="params">
<str name="shards">localhost:8888/solr,localhost:8983/solr</str>
<str name="q">player</str>
</lst>
</lst>
- <result name="response" numFound="4" start="0">
- <doc>
<str name="id">102</str>
<str name="name">kobe bryant is a basketball player</str>
</doc>
- <doc>
<str name="id">107</str>
<str name="name">LBJ is a basketball player</str>
</doc>
- <doc>
<str name="id">110</str>
<str name="name">tracy is a basketball player</str>
</doc>
- <doc>
<str name="id">111</str>
<str name="name">Yao is a basketball player</str>
</doc>
</result>
</response>
Step four :分析
测试1和测试2返回的结果都是从本机上索引文件获得的,而测试3和测试4是分布式查询,它所对应主机为8080,该服务武器上没有数据,这就是分布式查询(向8888和8983),将所有结果从不同Tomcat上聚合后返回
也可以根据前面学习笔记(三)中提供的SolrjClient来测试分布式索引。下面在三的基础上,开启三个Tomcat,模拟三台服务器,端口布置如上所示,开启三台服务器后,利用SolrjClient提供的接口分别向三台服务器提供索引数据如下:
向8080服务器:
List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
for (int i = 0; i < 10; i++) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", i);
doc.addField("severity",i);
doc.addField("sLocation","Beijing_" + i);
doc.addField("msg", "kobe bryant" + i);
doc.addField("name", "kylin soong" + i);
docs.add(doc);
}
client.addDocs(docs);
向8888服务器添加:
List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
for (int i = 10; i < 20; i++) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", i);
doc.addField("severity",i);
doc.addField("sLocation","Beijing_" + i);
doc.addField("msg", "kobe bryant" + i);
doc.addField("name", "kylin soong" + i);
docs.add(doc);
}
client.addDocs(docs);
向8983服务器添加:
List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
for (int i = 20; i < 30; i++) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", i);
doc.addField("severity",i);
doc.addField("sLocation","Beijing_" + i);
doc.addField("msg", "kobe bryant" + i);
doc.addField("name", "kylin soong" + i);
docs.add(doc);
}
client.addDocs(docs);
然后在利用SolrjClient提供接口进行查询验证(在8080服务器上查询):
String[] shards = new String[]{"localhost:8080/solr","localhost:8888/solr","localhost:8983/solr"};
String[] fields = new String[]{"id", "name", "msg"};
List<SolrDocument> lists = client.query("kobe", 30, fields, shards);
System.out.println(lists.size());
show(lists);
结果如下:
30
id=0 msg=kobe bryant0 name=kylin soong0
id=1 msg=kobe bryant1 name=kylin soong1
id=2 msg=kobe bryant2 name=kylin soong2
id=3 msg=kobe bryant3 name=kylin soong3
id=4 msg=kobe bryant4 name=kylin soong4
id=5 msg=kobe bryant5 name=kylin soong5
id=6 msg=kobe bryant6 name=kylin soong6
id=7 msg=kobe bryant7 name=kylin soong7
id=8 msg=kobe bryant8 name=kylin soong8
id=9 msg=kobe bryant9 name=kylin soong9
id=10 msg=kobe bryant10 name=kylin soong10
id=11 msg=kobe bryant11 name=kylin soong11
id=12 msg=kobe bryant12 name=kylin soong12
id=13 msg=kobe bryant13 name=kylin soong13
id=14 msg=kobe bryant14 name=kylin soong14
id=15 msg=kobe bryant15 name=kylin soong15
id=16 msg=kobe bryant16 name=kylin soong16
id=17 msg=kobe bryant17 name=kylin soong17
id=18 msg=kobe bryant18 name=kylin soong18
id=19 msg=kobe bryant19 name=kylin soong19
id=20 msg=kobe bryant20 name=kylin soong20
id=21 msg=kobe bryant21 name=kylin soong21
id=22 msg=kobe bryant22 name=kylin soong22
id=23 msg=kobe bryant23 name=kylin soong23
id=24 msg=kobe bryant24 name=kylin soong24
id=25 msg=kobe bryant25 name=kylin soong25
id=26 msg=kobe bryant26 name=kylin soong26
id=27 msg=kobe bryant27 name=kylin soong27
id=28 msg=kobe bryant28 name=kylin soong28
id=29 msg=kobe bryant29 name=kylin soong29
如上结果把符合查询字符串“Kobe”的所有字符串都返回,
PS:上述相关代码见学习笔记(三)附件
附件上XML文件与本文示例有些许差别……
结束
分享到:
相关推荐
Solr 数据导入调度器(solr-dataimport-scheduler.jar)是一个专门为Apache Solr 7.x版本设计的组件,用于实现数据的定期索引更新。在理解这个知识点之前,我们需要先了解Solr的基本概念以及数据导入处理...
在 Solr 的生态系统中,`solr-dataimport-scheduler-1.2.jar` 是一个非常重要的组件,它允许用户定时执行数据导入任务,这对于需要定期更新索引的应用场景尤其有用。这个特定的版本 `1.2` 已经被优化以兼容 `Solr ...
这里我们将围绕"solr-9.0.0-src.tgz"这个源码包,详细探讨其主要组成部分、核心功能以及开发过程中的关键知识点。 1. **Solr架构** Solr的架构基于Lucene,一个强大的全文搜索引擎库。它提供了分布式、可扩展、高...
solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar solr-mongo-importer-1.1.0.jar
solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-export-json最新代码solr-import-...
Solr 数据导入调度器(solr-dataimport-scheduler)是一个实用工具,用于自动化Apache Solr中的数据导入过程,尤其适用于需要定期从关系型数据库同步数据的场景。Solr 是一个流行的开源全文搜索引擎,它提供了强大的...
经过测试可以适用solr7.4版本。如果低版本solr(6.*) 可以直接适用网上的solr-dataimport-scheduler 1.1 或者1.0版本。
在"solr6--solr-dataimporthandler-scheduler-1.1"这个项目中,我们关注的重点是DIH的调度功能,也就是如何定期自动更新Solr索引。 DataImportHandler(DIH)是Solr的一个插件,用于从关系型数据库或其他结构化数据...
通过阅读源代码,你可以深入学习Solr如何处理索引、查询优化、分布式通信等问题,进一步提升你的搜索引擎技术能力。同时,参与社区贡献,如修复bug、添加新功能,也是提升个人影响力和专业技能的好途径。
"apache-solr-dataimportscheduler-1.0.zip"是一个官方发布的54l版本,专门针对Solr 5.x的定时索引生成需求。 数据导入调度器(DataImportScheduler)是这个扩展的核心组件,它允许用户根据预设的时间间隔自动执行...
"apache-solr-dataimportscheduler.jar" 是一个专门为Solr设计的扩展包,用于实现自动化的数据增量更新调度。 首先,我们要理解Solr的数据导入过程。Solr使用DataImportHandler(DIH)来从关系型数据库、XML文件或...
solr-dataimporthandler-extras-1.4.0.jar.zip”中,主要包含了一个名为“apache-solr-dataimporthandler-extras-1.4.0.jar”的文件,这个文件是Solr的一个重要组件——DataImportHandler(DIH)的扩展库。...
这是我自己反编译fix后,支持solr7.4高版本的定时增量任务(亲测solr7.4),下载下来开箱即用。低版本的没试过,估计低版本的solr配合之前apache-solr-dataimportscheduler-1.0.jar这些能行,不行就试试我这个。
solr-data-import-scheduler-1.1.2,用于solr定时更新索引的jar包,下载后引入到solr本身的dist下面,或者你tomcat项目下面的lib下面
/opt/solr-5.2.1/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.10.154:2181 -cmd upconfig -collection ps_product -confdir /opt/solr-5.2.1/server/solr/configsets/data_driven_schema_configs ...
solr 增量更新所需要的包 solr-dataimporthandler-6.5.1 + solr-dataimporthandler-extras-6.5.1 + solr-data-import-scheduler-1.1.2
使用Solr-8.11.1时,你需要配置Solr实例,定义你的索引字段,创建和管理索引,然后通过HTTP请求进行查询。同时,你可以利用Solr的 faceting(分面搜索)、highlighting(高亮显示)、spell checking(拼写检查)等...
复制 solr-4.10.3\example\solr 文件夹到本地的一个目录,并将文件名改为 solrhome。 3. 打开 SolrHome 目录。 4. SolrCore 创建成功。 - **配置 SolrCore** - **solrconfig.xml**:配置 SolrCore 实例的相关...
在使用Solr-9.0.0时,你需要根据业务需求创建或修改配置文件,如`solrconfig.xml`和`schema.xml`,定义索引的字段类型和字段。然后可以通过POST请求将数据导入Solr,Solr会自动进行分词、建立倒排索引等操作,从而...