`
blue2048
  • 浏览: 183176 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

solr config配置

    博客分类:
  • solr
阅读更多

solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置。

      可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf

       1.datadir节点

         1.<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数据和日志文件的存放位置

       

     2.luceneMatchVersion

             <luceneMatchVersion>4.8</luceneMatchVersion>

          表示solr底层使用的是lucene4.8

      3. lib

            <lib dir="../../../contrib/extraction/lib"regex=".*\.jar"/>

         表示solr引用包的位置,当dir对应的目录不存在时候,会忽略此属性

 

      4.directoryFactory

          索引存储方案,共有以下存储方案

           1、solr.StandardDirectoryFactory,这是一个基于文件系统存储目录的工厂,它会试图选择最好的实现基于你当前的操作系统和Java虚拟机版本。
           2、solr.SimpleFSDirectoryFactory,适用于小型应用程序,不支持大数据和多线程。
           3、solr.NIOFSDirectoryFactory,适用于多线程环境,但是不适用在windows平台(很慢),是因为JVM还存在bug。
           4、solr.MMapDirectoryFactory,这个是solr3.1到4.0版本在linux64位系统下默认的实现。它是通过使用虚拟内存和内核特性调用

             mmap去访问存储在磁盘中的索引文件。它允许lucene或solr直接访问I/O缓存。如果不需要近实时搜索功能,使用此工厂是个不错的方案。
           5、solr.NRTCachingDirectoryFactory,此工厂设计目的是存储部分索引在内存中,从而加快了近实时搜索的速度。
           6、solr.RAMDirectoryFactory,这是一个内存存储方案,不能持久化存储,在系统重启或服务器crash时数据会丢失。且不支持索引复制

 

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <directoryFactory class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}" name="DirectoryFactory">  
  2.    <str name="solr.hdfs.home">${solr.hdfs.home:}</str>  
  3.    <str name="solr.hdfs.confdir">${solr.hdfs.confdir:}</str>  
  4.    <str name="solr.hdfs.blockcache.enabled">${solr.hdfs.blockcache.enabled:true}</str>  
  5.    <str name="solr.hdfs.blockcache.global">${solr.hdfs.blockcache.global:true}</str>  
  6. </directoryFactory>  

             5. codecFactory
                   编解码工厂允许使用自定义的编解码器。例如:如果想启动per-field DocValues格式, 可以在solrconfig.xml里面设置SchemaCodecFactory:
                    docValuesFormat="Lucene42": 这是默认设置,所有数据会被加载到堆内存中。
          docValuesFormat="Disk": 这是另外一个实现,将部分数据存储在磁盘上。
          docValuesFormat="SimpleText": 文本格式,非常慢,用于学习。

                  <codecFactory class="solr.SchemaCodecFactory"/>
                  <schemaFactory class="ClassicIndexSchemaFactory"/>

            6.indexconfig节点

                 用于设置索引的低级别的属性

      1、<filter class="solr.LimitTokenCountFilterFactory" maxTokenCount="10000"/>//限制token最大长度
      2、<writeLockTimeout>1000</writeLockTimeout>//IndexWriter等待解锁的最长时间(毫秒)。
      3、<maxIndexingThreads>8</maxIndexingThreads>//
      4、<useCompoundFile>false</useCompoundFile>//solr默认为false。如果为true,索引文件减少,检索性能降低,追求平衡。
      5、<ramBufferSizeMB>100</ramBufferSizeMB>//缓存
      6、<maxBufferedDocs>1000</maxBufferedDocs>//同上。两个同时定义时命中较低的那个。
      7、<mergePolicy class="org.apache.lucene.index.TieredMergePolicy">
         <int name="maxMergeAtOnce">10</int>
          <int name="segmentsPerTier">10</int>
         </mergePolicy>
          //合并策略。
      8、<mergeFactor>10</mergeFactor>//合并因子,每次合并多少个segments。
      9、<mergeScheduler class="org.apache.lucene.index.ConcurrentMergeScheduler"/>//合并调度器。
     10、<lockType>${solr.lock.type:native}</lockType>//锁工厂。
     11、<unlockOnStartup>false</unlockOnStartup>//是否启动时先解锁。
     12、<termIndexInterval>128</termIndexInterval>//Lucene loads terms into memory 间隔
     13、<reopenReaders>true</reopenReaders>//重新打开,替代先关闭-再打开。
     14、<deletionPolicy class="solr.SolrDeletionPolicy">//提交删除策略,必须实现org.apache.lucene.index.IndexDeletionPolicy
     15、<str name="maxCommitsToKeep">1</str>
     16、<str name="maxOptimizedCommitsToKeep">0</str>
     17、<str name="maxCommitAge">30MINUTES</str> OR <str name="maxCommitAge">1DAY</str><br>   

     18、   <infoStream   file="INFOSTREAM.txt">false</infoStream>//相当于把创建索引时的日志输出。

      <lockType>${solr.lock.type:native}</lockType>
       设置索引库的锁方式,主要有三种:
        1.single:适用于只读的索引库,即索引库是定死的,不会再更改
        2.native:使用本地操作系统的文件锁方式,不能用于多个solr服务共用同一个索引库。Solr3.6 及后期版本使用的默认锁机制。
        3.simple:使用简单的文件锁机制

    7. updateHandler节点

           定义更新处理器,

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <updateLog>  
  2.  <str name="dir">${solr.ulog.dir:}</str>  
  3.  </updateLog>  

                设置索引库更新日志,默认路径为solr home下面的data/tlog。随着索引库的频繁更新,tlog文件会越来越大,

        所以建议提交索引时采用硬提交方式<autoCommit>,即批量提交。       

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <autoCommit>  
  2.  <maxTime>15000</maxTime>  
  3.  <maxDocs>10000</maxDocs>  
  4.  <openSearcher>false</openSearcher>  
  5.  </autoCommit>  

          自动硬提交方式:maxTime:设置多长时间提交一次maxDocs:设置达到多少文档提交一次openSearcher:文档提交后是否开启新的searcher,

          如果false,文档只是提交到index索引库,搜索结果中搜不到此次提交的文档;如果true,既提交到index索引库,也能在搜索结果中搜到此次提交的内容。

                  

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <updateHandler class="solr.DirectUpdateHandler2">  
  2.     <!-- 允许事务日志  -->   
  3.     <updateLog>  
  4.       <str name="dir">${solr.ulog.dir:}</str>  
  5.     </updateLog>  
  6.   
  7.     <!--  
  8.    在满足一定条件时自动提交。maxDocs/maxTime/openSearcher 
  9.       -->  
  10.      <autoCommit>   
  11.        <maxTime>15000</maxTime>   
  12.        <openSearcher>false</openSearcher>   
  13.      </autoCommit>  
  14.   
  15.     <!-- 软提交VS硬提交 -->  
  16.      <!--  
  17.       <autoSoftCommit>   
  18.          <maxTime>1000</maxTime>   
  19.        </autoSoftCommit>  
  20.       -->  
  21.   
  22.     <!--   
  23.        更新相关事件监听器  
  24.         postCommit - fired after every commit or optimize command  
  25.          postOptimize - fired after every optimize command  
  26.       -->  
  27.     <!-- The RunExecutableListener executes an external command from a  
  28.          hook such as postCommit or postOptimize.  
  29.          exe - the name of the executable to run  
  30.          dir - dir to use as the current working directory. (default=".")  
  31.          wait - the calling thread waits until the executable returns.   
  32.                 (default="true")  
  33.          args - the arguments to pass to the program.  (default is none)  
  34.          env - environment variables to set.  (default is none)  
  35.       -->  
  36.     <!--  
  37.       <listener event="postCommit" class="solr.RunExecutableListener">  
  38.          <str name="exe">solr/bin/snapshooter</str>  
  39.          <str name="dir">.</str>  
  40.          <bool name="wait">true</bool>  
  41.          <arr name="args"> <str>arg1</str> <str>arg2</str> </arr>  
  42.          <arr name="env"> <str>MYVAR=val1</str> </arr>  
  43.        </listener>  
  44.       -->  
  45.   
  46.  </updateHandler>  


                 8.Query查询节点

             <maxBooleanClauses>1024</maxBooleanClauses>
             设置boolean 查询中,最大条件数。在范围搜索或者前缀搜索时,会产生大量的 boolean 条件,
             如果条件数达到这个数值时,将抛出异常,限制这个条件数,可以防止条件过多查询等待时间过长。

                             缓存方法http://www.cnblogs.com/phinecos/archive/2012/05/24/2517018.html

                         

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <filterCache class="solr.FastLRUCache" size="512" initialSize="512" autowarmCount="0"/>  
  2.   
  3. <queryResultCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>  
  4.   
  5. <documentCache class="solr.LRUCache" size="512" initialSize="512" autowarmCount="0"/>  
  6.   
  7. <queryResultMaxDocsCached>200</queryResultMaxDocsCached>  
  8.   
  9. <maxWarmingSearchers>2</maxWarmingSearchers>  


                9.Request Dispatcher

                        请求转发器

 

           

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <!-- Request Dispatcher  
  2.      主要是介绍当有请求访问SolrCore时SolrDispatchFilter如何处理。  
  3.     handleSelect是一个以前版本中遗留下来的属性,会影响请求的对应行为(比如/select?qt=XXX)。  
  4.     当handleSelect="true"时导致SolrDispatchFilter将请求转发给qt指定的处理器(前提是/select已经注册)。  
  5.     当handleSelect="false"时会直接访问/select,若/select未注册则为404。  
  6.     -->  
  7.    <requestDispatcher handleSelect="false" >  
  8.   
  9.      <!-- Request Parsing:请求解析  
  10.         这些设置说明Solr Requests如何被解析,以及对ContentStreams有什么限制。  
  11.   
  12.          enableRemoteStreaming - 是否允许使用stream.file和stream.url参数来指定远程streams。  
  13.   
  14.          multipartUploadLimitInKB - 指定多文件上传时Solr允许的最大的size。  
  15.   
  16.          formdataUploadLimitInKB - 表单通过POST请求发送的最大size  
  17.        -->   
  18.      <requestParsers enableRemoteStreaming="true"  
  19.                      multipartUploadLimitInKB="2048000"  
  20.                      formdataUploadLimitInKB="2048"/>  
  21.   
  22.      <!-- HTTP Caching  
  23.          设置HTTP缓存的相关参数。  
  24.       -->  
  25.      <httpCaching never304="true" />  
  26.   
  27.      <!--  
  28.        <httpCaching never304="true" >  
  29.           <cacheControl>max-age=30, public</cacheControl>   
  30.         </httpCaching>  
  31.        -->  
  32.   
  33.      <!--  
  34.        <httpCaching lastModifiedFrom="openTime"  
  35.                      etagSeed="Solr">  
  36.           <cacheControl>max-age=30, public</cacheControl>   
  37.         </httpCaching>  
  38.        -->  
  39.    </requestDispatcher>  


         10.requestHandler

                          请求处理器

 

           

 

[html] view plaincopy在CODE上查看代码片派生到我的代码片
 
  1. <!-- Request Handlers   
  2.      输入的请求会通过请求中的路径被转发到特定的处理器。  
  3.     -->  
  4.    <!-- SearchHandler  
  5.      基本的请求处理器是SearchHandler,它提供一系列SearchComponents。  
  6.     通过multiple shards支持分布式。  
  7.     -->  
  8.    <requestHandler name="/select" class="solr.SearchHandler">  
  9.      <!-- 可以指定默认值。-->  
  10.       <lst name="defaults">  
  11.         <str name="echoParams">explicit</str>  
  12.         <int name="rows">10</int>  
  13.         <str name="df">text</str>  
  14.       </lst>  
  15.      <!-- 添加属性 -->  
  16.      <!--  
  17.        <lst name="appends">  
  18.           <str name="fq">inStock:true</str>  
  19.         </lst>  
  20.        -->  
  21.   
  22.      <!-- 用法同上,尽量不要使用。-->  
  23.      <!--  
  24.        <lst name="invariants">  
  25.           <str name="facet.field">cat</str>  
  26.           <str name="facet.field">manu_exact</str>  
  27.           <str name="facet.query">price:[* TO 500]</str>  
  28.           <str name="facet.query">price:[500 TO *]</str>  
  29.         </lst>  
  30.        -->  
  31.      <!-- 下面的配置可以重置SearchComponents-->  
  32.      <!--  
  33.        <arr name="components">  
  34.           <str>nameOfCustomComponent1</str>  
  35.           <str>nameOfCustomComponent2</str>  
  36.         </arr>  
  37.        -->  
  38.      </requestHandler>  

 

 

出自 http://blog.csdn.net/zx13525079024/article/details/25310781

分享到:
评论

相关推荐

    solr在tomcat下的搭建和配置数据库

    这里通过`data-config.xml`文件配置了Solr的数据源连接以及SQL查询语句,使得Solr能够从数据库中读取数据并索引。 **总结** 以上步骤详细介绍了如何在Tomcat环境下搭建Solr服务,并配置Solr与数据库之间的连接。...

    solr-config_solrj-demo.rar_DEMO_solr_solr的j

    总之,"solr-config_solrj-demo.rar_DEMO_solr_solr的j"这个DEMO是一个全面了解和实践Solr配置及SolrJ使用的宝贵资源,它将引导你逐步掌握如何在实际项目中有效地运用Solr进行全文检索和数据分析。通过深入学习和...

    solr所需要配置的资源.zip

    4. `data-config.xml`(可选):用于配置数据驱动的索引(Data Import Handler, DIH),允许Solr从外部数据源(如数据库)导入数据。 5. `lib`目录:可以放置自定义的JAR文件,比如IK分词器的jar,这些库会被Solr在...

    solr所需配置文件

    5. **solrcloud-config**: 当Solr运行在SolrCloud模式下,这个配置文件包含集群和集合的设置。比如,它定义了ZooKeeper的位置、Shard的数量、Replication Factor(副本因子)以及路由策略等。 6. **...

    solr5.4开发环境完整配置

    创建一个数据配置文件(如 `data-config.xml`),定义数据源和映射规则。然后在 Solr 的管理界面中,选择你的核心,使用 "Data Import" 功能执行全量或增量导入。 总结一下,配置 Solr 5.4 开发环境包括以下几个...

    solr连接数据库配置

    要配置Solr与数据库的连接,我们需要在Solr的`data-config.xml`文件中定义数据源和数据表。以下是一个基本示例: ```xml &lt;dataConfig&gt; * FROM books" dataSource="db"&gt; &lt;/dataConfig&gt; ``` 在这个...

    Solr配置入门教程

    7. **导入数据**:在`data-config.xml`中配置好数据源和查询后,可以通过Solr的管理界面或API执行数据导入操作。数据导入过程将根据`data-config.xml`中的配置从MySQL数据库抓取数据,并构建索引。 8. **使用Tomcat...

    图解Solr5.3.1与MySQL配置【原创】

    ### 图解Solr5.3.1与MySQL配置详解 #### 一、Solr与MySQL集成概述 在本文中,我们将详细介绍如何配置Solr 5.3.1与MySQL数据库的集成,以便实现高效的数据搜索功能。Solr是一款高性能、可伸缩的企业级搜索引擎,它...

    solr服务器的搭建与配置实例

    ### Solr服务器的搭建与配置实例 #### 一、Solr简介 Solr是一个高性能、可伸缩的企业级搜索引擎平台,它可以作为一个独立的服务运行,并且提供了丰富的API接口,支持多种编程语言,使得开发者能够轻松地集成搜索...

    Solr操作说明文档

    Solr 的基本安装配置主要包括 Solr 配置所需包、Solr 配置文件详解和 Solr 服务配置说明三个部分。 Solr 配置所需包 Solr 需要的配置包主要包括 JDK、Apache Tomcat 和 Apache ZooKeeper 等。 Solr 配置文件详解 ...

    solr配置放啊

    - 需要编辑`solr-data-config.xml`文件来定义数据源以及如何从数据源中读取数据。 #### 三、数据源配置详解 数据源配置是Solr配置中的关键部分之一,它决定了Solr如何与外部数据源交互。下面是对提供的XML配置...

    solr-7.7.3配置详解,跟springboot整合 (二)

    配置`data-config.xml`文件定义数据源和映射规则。 **二、Spring Boot整合Solr** 1. **依赖管理** - 在Spring Boot项目中,添加Solr的Spring Data Solr依赖,如: ```xml &lt;groupId&gt;org.springframework.data ...

    Solr(Cloudera)使用手册

    2. **更新Config**:使用`solrctl init`命令初始化Solr配置,然后通过`solrctl instanceDir --generate`命令生成新的配置文件夹。 3. **修改Schema.xml**:进入配置文件夹并编辑Schema.xml文件,添加或修改字段定义...

    solr7.4配置tomcat8.5,可连接mysql8.0.11,集成ik分词器

    在Solr的`server/solr-webapp/webapp/WEB-INF`目录下,你会找到`solr.xml`,这是Solr的配置文件。你需要配置数据源,以便Solr可以连接到MySQL数据库。在`solr.xml`中,添加以下内容,确保替换为你自己的数据库信息:...

    solr6.0+mysql集成配置

    在 Solr 的 `server/solr` 目录下,创建一个新的实例,如 `my_solr_instance`,然后复制 `server/solr/configsets/_default` 到新实例目录,以提供基本配置。 **3. 配置数据源连接** 为了连接 MySQL,你需要在 ...

    图解Solr6.6.0安装与MySQL配置

    ### 图解Solr 6.6.0安装与MySQL配置 #### 一、Solr简介与功能概述 Solr是一款开源的全文搜索引擎平台,基于Java语言开发,支持多种语言的数据索引与搜索。Solr拥有丰富的特性,如高度可扩展性、高性能、支持多种...

    Solr定时更新Solr定时更新

    然后,可以在`data-config.xml`文件中详细指定如何映射数据源字段到Solr的文档字段,以及如何进行全量或增量导入。对于定时任务,可能需要在外部的配置文件(如`dataimport.properties`)中设置调度器的相关属性,如...

Global site tag (gtag.js) - Google Analytics