0 0

如何向solr服务器提交大日志文件5

现在公司有个项目对日志文件进行全文检索,准备用solr完成。现在遇到一个问题,由于日志的文件比较大,一般10几兆,大的已经达到几百兆了。我们将日志的内容设置为content字段,类型为string,但是当我们将documnet提交到server的时候,就报OOM的错误,请问如何解决该问题?
2014年6月13日 11:20

3个答案 按时间排序 按投票排序

0 0

采纳的答案

public static void main(String[] args) {
    try {
      //Solr cell can also index MS file (2003 version and 2007 version) types.
      String fileName = "c:/Sample.pdf"; 
      //this will be unique Id used by Solr to index the file contents.
      String solrId = "Sample.pdf"; 
      
      indexFilesSolrCell(fileName, solrId);
      
    } catch (Exception ex) {
      System.out.println(ex.toString());
    }
  }
  
  /**
   * Method to index all types of files into Solr. 
   * @param fileName
   * @param solrId
   * @throws IOException
   * @throws SolrServerException
   */
  public static void indexFilesSolrCell(String fileName, String solrId) 
    throws IOException, SolrServerException {
    
    String urlString = "http://localhost:8983/solr"; 
    SolrServer solr = new CommonsHttpSolrServer(urlString);
    
    ContentStreamUpdateRequest up 
      = new ContentStreamUpdateRequest("/update/extract");
    
    up.addFile(new File(fileName));
    
    up.setParam("literal.id", solrId);
    up.setParam("uprefix", "attr_");
    up.setParam("fmap.content", "attr_content");
    
    up.setAction(AbstractUpdateRequest.ACTION.COMMIT, true, true);
    
    solr.request(up);
    
    QueryResponse rsp = solr.query(new SolrQuery("*:*"));
    
    System.out.println(rsp);
  }

2014年6月16日 10:56
0 0

不用Solr,改用Lucenen。
自己写索引生成程序和检索程序。

2014年6月16日 00:47
0 0

那么大,一定要用流处理

2014年6月13日 15:27

相关推荐

    solr-7.1.0.zip solr搜索引擎安装包

    2. `server`:包含了Solr服务器运行所需的所有组件,如Jetty web服务器、Solr配置文件、日志文件等。 3. `example`:包含了一个示例配置,展示了如何设置和运行Solr的基本步骤。 4. `dist`:包含Solr的jar文件和其他...

    apache-solr-3.5.0.jar

    这通常涉及连接到Solr服务器,创建索引文档,然后提交到服务器。 5. **执行查询**:同样使用SolrJ,可以编写查询语句,发送到Solr服务器,获取结果集,并对结果进行处理和展示。 6. **优化和管理**:Solr提供了...

    Solr6.2官方版参考手册

    - **管理界面**: 通过浏览器访问 Solr 提供的 Web 基础管理界面,可以进行配置文件查看、查询提交、日志设置、Java 环境设置等一系列操作。 - **分布式配置管理**: 介绍如何通过管理界面监控和控制分布式 Solr 配置...

    solr增量导入更新索引包

    - 然后,DIH将变更转化为Solr兼容的格式,并发送到Solr服务器进行更新。 - 最后,Solr执行更新操作,可以是单个文档或批量文档的更新。 6. **增量包的使用** 在你的描述中提到了"solr增量添加更新索引包",这...

    apache-solr-ref-guide

    Solr提供了一个易于使用的基于Web的管理界面,开发者可以通过Web界面来管理Solr配置文件,提交查询,查看日志文件设置以及监控和控制分布式配置。 文档中还涉及了Solr的文档、字段以及模式设计的相关内容。Solr通过...

    solr同步数据库需要jar包

    - Solr客户端库:如solr-solrj.jar,提供了与Solr服务器通信的API。 - 数据处理库:可能包含一些第三方库,如Apache Commons Lang、Apache Commons IO等,用于数据转换和处理。 - 自定义逻辑:如果存在自定义的数据...

    大数据Solr二次开发.pdf

    `cloudSolrServer.add(docs)`用于将文档批量添加到Solr服务器,`commit`方法则提交这些变更,确保它们被索引。 3. 查询文档: `queryAll`方法演示了如何执行基本的查询操作。`ModifiableSolrParams`用于设置查询...

    Lucidworks Solr 参考指南 1.3

    - **查看和配置日志文件设置**:管理 Solr 服务器的日志记录级别和输出位置。 **3.3 App Server 部分** - **显示 Java 属性**:查看 Java 虚拟机的属性信息。 - **显示活动线程**:监控 Java 环境中的活动线程状态...

    solr.tar.gz

    在 PHP 中,你可以创建 SolrDocument 对象来表示文档,添加字段并提交到 Solr 服务器进行索引。索引过程涉及对数据的分析、存储和检索。查询时,可以使用 SolrQuery 类构造查询语句,获取结果集,并通过 ...

    apache_solr 教程

    这个界面可以让你方便地查看配置文件、提交查询、查看日志文件和 Java 环境设置等。 - **查看配置文件**:可以在界面中直接浏览和编辑 Solr 配置文件,如 solrconfig.xml 和 schema.xml。 - **提交查询**:通过 Web...

    apache-solr-ref-guide-5.1

    Solr 提供了一个基于 Web 的用户界面,允许用户进行多种管理操作,如查看配置文件、提交查询、查看日志设置和 Java 环境设置,以及监控和控制分布式配置。这些操作可以通过任何现代浏览器完成,无需编写任何代码或...

    java 调用solr最小依赖jiar包

    它是Solr服务器运行的基础,包含了SolrServer、SolrQuery等类,用于Java应用程序与Solr服务器通信。 2. **Http客户端jar包**: - `httpclient.jar`:提供了HTTP客户端接口,用于发送HTTP请求到Solr服务器。 - `...

    LucidWorks for Solr

    - **查看和配置日志文件设置**:调整日志级别和格式,以便更好地追踪问题。 #### 应用服务器部分 - **查看 Java 属性**:列出当前运行环境中的 Java 属性。 - **查看活动线程**:监控 Java 环境中的活动线程情况...

    apache solr Reference guide 4.5.pdf

    在这个界面中,可以查看配置文件、提交查询、查看日志文件设置和Java环境设置,以及监控和控制分布式配置。这部分对于想要通过图形界面而非命令行来管理Solr的用户非常有帮助。 “Documents, Fields, and Schema ...

    Solr451全文搜索

    **SolrJ**是一个Java客户端API,用于与Solr服务器进行交互。 1. **添加文档示例:** - 通过Solr的管理界面选择“Documents”,按照JSON格式添加文档: ```json {"id":"KS001","title":"这是一个测试项目"} ``` ...

    apache-solr-ref-guide-5.2.pdf

    从浏览器中,用户可以查看配置文件、提交查询、查看日志文件设置和Java环境设置,并监控和控制分布式配置。 - **文档、字段和模式设计**:该章节描述了Solr如何组织其数据进行索引。它解释了Solr模式如何定义字段和...

    开源企业搜索引擎SOLR的应用教程

    - **SOLR应用概述**:Solr广泛应用于各种场景,如电子商务产品搜索、社交媒体内容搜索、日志数据分析等,其强大的搜索能力和灵活的配置使其成为许多企业的首选搜索引擎。 - **一个简单的例子**:从设计SolrSchema...

    solr入门文档

    这将向名为 `collection1` 的集合提交所有 `.xml` 文件。 **6. 查询索引** - 导入数据后,可以使用 Solr 管理界面的 "Query" 选项卡进行查询。在 "q" 文本框中输入搜索词,例如 `solr`,然后点击 "Execute Query...

    开源企业搜索引擎SOLR的 应用教程

    Solrhome是指Solr的根目录,其中包含了配置文件、日志文件和索引目录等。用户可以通过修改Solrhome下的配置文件来调整Solr的行为。 - **1.4.3 solr的各包的说明** Solr的主要包包括: - `org.apache.solr.core`...

    apache-solr-ref-guide-5.4

    通过浏览器,可以浏览配置文件,提交查询,查看日志文件设置和 Java 环境设置,并监控和控制分布式配置。管理员可以添加、删除或更新索引文档,执行查询并分析结果,以及通过直观的界面来调整系统设置。 ...

Global site tag (gtag.js) - Google Analytics