SolrCloud简介和搭建指导

一、搜索集群架构简介

1.1整体功能描述

通过独立的zookeeper集群管理solrcloud集群。

Solrcloud集群负责索引的创建、查询、更新和删除操作。Solrcloud集群做sharding，每个sharding内做主从备份。

Search服务通过zookeeper集群获取solrcloud信息，向solrcloud提交用户信息索引请求，并向solrcloud提交用户信息搜索请求以完成用户信息的搜索。

Service服务对客户端提供搜索接口，给Search服务提供用户信息获取接口，同时从Search服务中查询获取用户信息。

1.2结构

二、zookeer集群配置

2.1下载并安装zookeeper

下载最新发布版本zookeeper-3.4.6，并解压。

建议3台以上奇数，参考：zookeeper过半则选举机制。

2.2配置zookeeper

需要配置zookeeper集群的服务器列表，同时指定本zookeeper服务器的ID。

2.2.1配置zookeeper集群服务器列表

在conf/zoo.cfg文件中配置zookeeper集群的服务器列表。

心跳时间默认2s

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/work/bin/zookeeper-3.4.6/data
dataLogDir=/home/work/bin/zookeeper-3.4.6/logs
clientPort=2181
server.1=host1:2888:3888
server.2=host2:2888:3888
server.3=host3:2888:3888

2.2.2配置zookeeper服务器日志

在conf/log4j.properties文件中配置日志文信息，指定日志文件路径。

log4j.rootLogger=info,console,file
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-ddHH:mm:ss} [%c]-[%p] %m%n
 
log4j.appender.file=org.apache.log4j.DailyRollingFileAppender
log4j.appender.file.File=/data/logs/zookeeper/stdout.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%-d{yyyy-MM-ddHH:mm:ss}[%c]-[%p] %m%n
log4j.appender.file.Threshold=DEBUG
log4j.appender.file.DatePattern='.'yyyyMMdd
log4j.appender.file.encoding=UTF-8

2.2.3配置zookeeper服务器的标识

zookeeper服务器标识需要和zoo.cfg文件中定义的一致。

在data目录下创建myid文件，myid文件内容为服务器id，例如1。三个zookeeper服务器的id分别对应为1，2和3。

如果在zookeeper安装目录下没有data目录，则手动创建。

2.3启动zookeeper服务

使用bin目录下的脚本来管理zookeeper服务。

启动zookeeper服务命令：./zkServer.sh start

三、Solrcloud集群配置

3.1下载并安装solr（N台机器分别）

下载最新发布版本solr-4.10.3，并解压。

从dist/solr-4.10.3.war拷贝到web主目录下并解压。假定web主目录为/data/work/solr/。

将example/lib/ext/*.jar拷贝到/data/work/solr1/WEB-INF/lib目录下。

或者

在git上面拉取鲁班solr项目,3台部署。

3.2配置solr日志文件

在WEB-INF目录下创建classes目录，在classes目中中修改log4j.properties文件。

log4j.properties日志文件内容：

log4j.rootLogger=info,console,file
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-ddHH:mm:ss}[%c]-[%p] %m%n
 
log4j.appender.file=org.apache.log4j.DailyRollingFileAppender
log4j.appender.file.File=
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%-d{yyyy-MM-ddHH:mm:ss}[%c]-[%p] %m%n
log4j.appender.file.Threshold=DEBUG
log4j.appender.file.DatePattern='.'yyyyMMdd
log4j.appender.file.encoding=UTF-8
 
log4j.logger.org.apache.zookeeper=WARN
log4j.logger.org.apache.hadoop=WARN
 
# set to INFO to enable infostream logmessages
log4j.logger.org.apache.solr.update.LoggingInfoStream=OFF

3.3配置搜索服务

分别在三台机器上创建home目录/home/work/services/solrcloud/solrhome，用于放置跟solr有关的配置文件。

端口8080，保持和resin容器监听端口一致

<?xml version="1.0"encoding="UTF-8" ?>
<solr persistent="true"sharedLib="lib">
       <coresadminPath="/admin/cores" zkClientTimeout="20000"hostPort="8080" hostContext="solr"></cores>
</solr>

3.3.1上传solr的配置和关联Zookeeper

随机选中一台机器。

在其/home/work/services/solrcloud 下面新建solr-config solr-lib 目录

在solr-lib中

将solr WEB-INF/lib中的jar文件Copy到solrcloud/solr-lib文件目录中:

cp/home/work/services/solrcloud/solr/WEB-INF/lib/ /home/work/services/solrcloud/solr-lib/

在solr_config 中

新建collection（商品）， goods/conf，在conf中配置对应的schema.xml ，solrconfig.xml

新建collection（搜索热词），hotword/conf，在conf中配置对应的schema.xml ， solrconfig.xml

3.3.2配置搜索运行参数

通过bootstrap设置solrhome：

java -classpath.:/home/work/services/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -zkhosthost1:2181,host2:2181,host3:2181 -cmd bootstrap -solrhome/home/work/services/solrcloud/solrhome/

SolrCloud是通过ZooKeeper集群来保证配置文件的变更及时同步到各个节点上，所以，需要将配置文件上传到ZooKeeper集群中-对应zk的config目录的子目录：

java -classpath.:/home/work/services/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -zkhosthost1:2181,host2:2181,host3:2181 -cmd upconfig -confdir/home/work/services/solrcloud/solr-config/goods/conf -confname goods

java -classpath.:/home/work/services/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -zkhosthost1:2181,host2:2181,host3:2181 -cmd upconfig -confdir/home/work/services/solrcloud/solr-config/hotword/conf -confname hotword

把配置文件和目标collection联系起来

java -classpath.:/home/work/services/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -zkhosthost1:2181,host2:2181,host3:2181 -cmd linkconfig -collection goods -confnamegoods
java -classpath.:/home/work/services/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -zkhosthost1:2181,host2:2181,host3:2181 -cmd linkconfig -collection hotword -confnamehotword

3.4配置resin

resin中需要指定web主目录，并且指定日志文件路径。

3.4.1配置resin启动文件

在resin/conf/resin.xml文件中配置resin启动参数。参考

<cluster id="solr">
        <root-directory>.</root-directory>
        <server-default>
            <http address="*" port="8080" />
            <jvm-arg>-DzkHost=host1:2181,host2:2181,host3:2181</jvm-arg>
            <jvm-arg>-Xmx1g</jvm-arg>
            <jvm-arg>-Xms1g</jvm-arg>
            <jvm-arg>-Xss256k</jvm-arg>
            <jvm-arg>-Xmn256m</jvm-arg>
            <jvm-arg>-XX:-UseParallelGC</jvm-arg>
            <jvm-arg>-XX:ParallelGCThreads=4</jvm-arg>
            <jvm-arg>-XX:PermSize=256m</jvm-arg>
        </server-default>
        <server id="solr" address="127.0.0.1" port="6083"/>
        <host id="" root-directory=".">
            <web-app id="/solr" root-directory="/home/work/services/solrcloud/solr" >
                <env-entry>
                    <env-entry-name>solr/home</env-entry-name>
                    <env-entry-type>java.lang.String</env-entry-type>
                    <env-entry-value>/home/work/services/solrcloud/solrhome</env-entry-value>
                </env-entry>
            </web-app>
            <stdout-log path='/home/work/log/solr/solr.stdout.log' rollover-period='1D' rollover-size='50mb' />
            <stderr-log path='/home/work/log/solr/solr.stderr.log' rollover-period='1D' rollover-size='50mb' />
        </host>
   </cluster>

其中特别要注意到有一段solr特有的配置，用来指定solr配置文件主目录。这里指定的solr配置文件主目录必须与之前配置的solr目录保持一致，否则会因为找不到solr配置导致solr服务启动失败。

<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>*</env-entry-value>
</env-entry>

3.4.3配置第一个solr服务器的resin启动脚本

在resin/conf/resin.xml文件中配置resin启动脚本，增加启动参数。

JAVA_OPTS="-Dbootstrap_confdir=/data/work/solr1/home/usercore/conf-Dcollection.configName=usercoreConf-DzkHost=10.221.144.87:2181,10.221.144.87:2182,10.221.144.87:2183-DnumShards=2"

这个启动参数中，需要指定zookeeper集群的地址，solr集群分片数量，solr配置文件主目录，以及在zookeeper集群中标记的配置名称。

修改后的启动脚本：

exec $JAVA_EXE $JAVA_OPTS -jar${RESIN_HOME}/lib/resin.jar $*

注意必须保证solr集群中的第一个solr服务器首先启动，然后其他solr集群中的其他服务器才能启动。否则整个solr集群可能启动失败。

3.4.4配置第二个及后续solr服务器的resin启动脚本

在resin/conf/resin.xml文件中配置resin启动脚本，增加启动参数。

JAVA_OPTS="-DzkHost=10.221.144.87:2181,10.221.144.87:2182,10.221.144.87:2183"

或者在resin.xml中添加

这个启动参数中，只需要指定zookeeper集群的地址，其它信息将在solr服务器连接到zookeeper集群后自动获取。

修改后的启动脚本：

exec $JAVA_EXE $JAVA_OPTS -jar ${RESIN_HOME}/lib/resin.jar$*

3.5索引管理

solr服务器创建的索引默认保存在文档集合目录下的data目录/home/work/services/solrcloud/solrhome中。

复制或者删除索引仅需要删除这个data目录即可。

如果索引模式文件改变，例如增加或者删除字段后需要重建索引，重建之前必须删除data目录。

3.6管理solr控制台

登录solr服务器集群管理控制台http://host1:8080/solr。通过这个管理控制台可以对solr集群进行管理。

solr管理控制台建议不要对外网开放。

3.7配置集群参数

创建数据集(Collection)

curl 'http://host1:8080/solr/admin/collections?action=CREATE&name=goods&numShards=3&replicationFactor=2&maxShardsPerNode=3'<span style="font-size: 12px; font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);"></span>

name:数据集名称

numShards:分片数

replicationFactor:每个分片的复本数

maxShardsPerNode:每个Solr服务器节点上最大分片数(Solr 4.2新增)

删除数据集：

curl 'http://host1:8080/solr/admin/collections?action=DELETE&name=goods'