Solr学习笔记（三）Solr客户端开发实例

Warming Up：

本文章通过两种方法索引数据为主线，说明Solr客户端开发，两种方法分别是：直接发送XML文件到Solr服务器；通过Solrj建立客户端程序。本文分别从这两个方面各写一个例子程序；

Dependency：Solr: apache-solr-1.4.1    Tomcat: apache-tomcat-7.0.0

Note：本文谈论到不止数据索引，还包括对Solr索引数据的优化，回滚，删除等处理

 

方法1：直接发送XML文件到Solr服务器

由题目可知，直接发送数据到Solr服务器，必须和服务器建立交互关系，这里我提供的解决办法自己写一个Tomcat客户端，此客户端负责和Solr服务器（Tomcat）完成交互；另外要发送的XML必须符合一定规律，否则不能够索引，如下面所示是本文中药发送的XML，通过它我们可以简单学习这种XML的基本格式：根目录<add></add>里面包含又一系列document，而这一些列document里面又包含了各个document的一系列Field，如下代码段所示：

 

<add>
	<doc>
  	<field name="id">101</field>
  	<field name="name">kylin soong is a programmer</field>
	</doc>
	<doc>
  	<field name="id">102</field>
 	 <field name="name">kobe bryant is a basketball player</field>
	</doc>
	<doc>
  	<field name="id">103</field>
  	<field name="name">jay chou is a singer</field>
	</doc>
	<doc>
	  <field name="id">104</field>
	  <field name="name">jane zhang is a singer</field>
	</doc>	
	<doc>
	  <field name="id">105</field>
	  <field name="name">coco lee is a singer</field>
	</doc>		
	<doc>
	  <field name="id">106</field>
	  <field name="name">andy liu is a actor</field>
	</doc>
</add>

 

如上XML名为kobe.xml，会在下面的例子中看到；

TomcatClient为我自己命名的类，及相关类在附件下项目com.javaeye.solr.tomcat包下面，主要类为：TomcatClient.java，该类主要public方法如下：

public TomcatClient(String solrURL)为构造方法，通过提供字符串建立与Tomcat上SolrURL，通过此URL可以进行Stream交换

public int postFiles(String[] files, int startIndexInArgs)

public void postFile(File file, Writer output)

public void postData(Reader data, Writer output) 这三个方法都是向Solr上建立索引的方法，第一个是为一系列File建立索引，第二个为一个File建立索引，第三个是把File通过字节的形式读取传入，这个方法适合File比较小，

注意，不推荐使用第三个方法，因为第三个方法没有考虑到编码的问题，如果File中有中文就会有问题

public void commit(Writer output)

public void rollback(Writer output)

public void optimize(Writer output)

public void deleteByUniqueKey(String key, Writer output)这四个方法分别是提交，回滚、优化、删除

 

接下来我们就给出一段简单运行结果，运行j简单代码如下：

public static void main(String[] args) throws IOException {
		File file = new File("D:\\new period\\solr\\post\\kobe.xml");	
		String url = "http://localhost:8080/solr";
		
		TomcatClient client = new TomcatClient(url);
		StringWriter output = null; 
		output = new StringWriter(); 
		client.postFile(file, output);
		output = new StringWriter(); 
		client.commit(output);
	}

 接下来我们去看我们去Solr管理界面看运行结果如下图：

 

 点击查询可以看到如下结果：

  <?xml version="1.0" encoding="UTF-8" ?> 
- <response>
- <lst name="responseHeader">
  <int name="status">0</int> 
  <int name="QTime">0</int> 
- <lst name="params">
  <str name="indent">on</str> 
  <str name="start">0</str> 
  <str name="q">singer</str> 
  <str name="rows">10</str> 
  <str name="version">2.2</str> 
  </lst>
  </lst>
- <result name="response" numFound="3" start="0">
- <doc>
  <str name="id">103</str> 
  <str name="name">jay chou is a singer</str> 
  </doc>
- <doc>
  <str name="id">104</str> 
  <str name="name">jane zhang is a singer</str> 
  </doc>
- <doc>
  <str name="id">105</str> 
  <str name="name">coco lee is a singer</str> 
  </doc>
  </result>
  </response>

 

 如上结果singer出现三次分别id号：103，104，105，当然可以验证删除，优化等，这里就简要带过，不过需要注意的是对Solr服务器昨晚处理后必须调运Commit方法进行提交，不然不会起作用；

 

 方法2：Solrj建立与服务器交互

Solrj 是访问 Solr 的 Java 客户端，它提供添加、更新和查询Solr 索引的接口；下面介绍一些Solrj关键类：

1、CommonsHttpSolrServer，该类提供了一系列与Solr交互的方法，包括增、删、改、查、优化、回滚等一系列操作，

当然他还有一系列构造方法和Set方法，可以通过这些参数控制Http请求的属性，如下：

String url = "http://localhost:8080/solr";
CommonsHttpSolrServer s = new CommonsHttpSolrServer(url);
s.setConnectionTimeout(100); 
s.setDefaultMaxConnectionsPerHost(100);
s.setMaxTotalConnections(100);

 

 2、SolrInputDocument，该类实现了Map接口，可以向其中添加一系列键值对，这用来创建Lucene的Document（Solr底层是Lucene），用来建立索引；该类还实现了Iterable结构，这样可以循环输出：如下为一段测试代码：

SolrInputDocument test = new SolrInputDocument();
		test.addField("id", "sdfs");
		test.addField("name", "wee");
		test.addField("cat", "cat");
		for(Iterator iterator = test.iterator();iterator.hasNext();) {
			SolrInputField field = (SolrInputField) iterator.next();
			System.out.println(field.getName() + " - " + field.getValue());
		}

 

3、SolrQuery, Solr查询类，该类包含基本查询参数，例如"*:*"表示查询索引中所有Document；

4、QueryResponse，该类代表查询结果，它封装了一系列方法查看满足条件的Documents信息，如下代码：

SolrQuery query = new SolrQuery("*:*");
String url = "http://localhost:8080/solr";
CommonsHttpSolrServer solrServer = (CommonsHttpSolrServer) client.createNewSolrServer(url);
QueryResponse response  = commonsHttpSolrServer.query(query);
		SolrDocumentList list = response.getResults();
		System.out.println(list);

 

5，开始：SolrjClient有三类方法：启动连接Solr方法，索引数据的方法及查询索引的方法：

下面贴出一些测试代码（全部代码贱附件）

url = "http://localhost:8080/solr";
		client = new SolrjClient();
		client.startSolrServer(url);
List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
		for (int i = 0; i < 10; i++) {
			SolrInputDocument doc = new SolrInputDocument();
			doc.addField("id", i);
			doc.addField("severity",i);
			doc.addField("sLocation","Beijing_" + i);
			doc.addField("msg", "kobe bryant" + i);
			doc.addField("name", "kylin soong" + i);
			docs.add(doc);
		}
		client.addDocs(docs);

 

如上向8080端口上服务器添加10条数据：

然后若测试查询：

String[] fields = new String[]{"id", "name", "msg"};
		List<SolrDocument> lists = client.query("kobe",10,fields);
		System.out.println(lists.size());
		for(SolrDocument doc : lists) {
			for(Iterator iterator = doc.iterator();iterator.hasNext();) {
				Map.Entry<String, Object> entry = (Entry<String, Object>) iterator.next();
				System.out.print(entry.getKey() + "=" + entry.getValue() + " ");
				//				System.out.print(iterator.next() + "   ");
			}
			System.out.println();
		}

 显示查询结果：

10
id=0 msg=kobe bryant0 name=kylin soong0 
id=1 msg=kobe bryant1 name=kylin soong1 
id=2 msg=kobe bryant2 name=kylin soong2 
id=3 msg=kobe bryant3 name=kylin soong3 
id=4 msg=kobe bryant4 name=kylin soong4 
id=5 msg=kobe bryant5 name=kylin soong5 
id=6 msg=kobe bryant6 name=kylin soong6 
id=7 msg=kobe bryant7 name=kylin soong7 
id=8 msg=kobe bryant8 name=kylin soong8 
id=9 msg=kobe bryant9 name=kylin soong9 

 

 

PS： 到此结束，可以根据附件中代码提供的测试例子进行详细研究；

 

 

 

 

 

 

 

评论

1 楼 qepipnu 2014-08-25  

求solr 客户端 jar包