`
allbin1983
  • 浏览: 35757 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

simple 的lucene做千万级数据索引速度

阅读更多

个人笔记本测试数据

数据是mysql ,应数据量过大用了分表存储,

1.开始时查询速度 显示50页

2.点击分页后速度

第一次速度在2~3秒,因为索引存id和索引信息,通过name获得id后再回数据找每条数据,如果所有数据存索引中,没准会提高速度,但牺牲很多空间和创建索引时间

点下页速度在0.4~03秒之间,simple对数据做了cache。

数据优化在simple上学习不少,各位大侠还有能提高性能建议,纠正我错误地方请回帖,3q

 

原文: http://simpleframework.net/blog/v/69666.htm l

分享到:
评论

相关推荐

    lucene 对 xml建立索引

    ### Lucene对XML文档建立索引的技术解析与实践 #### 一、引言 随着互联网技术的迅猛发展,非结构化数据(如...在未来的发展中,随着数据量的不断增加和技术的进步,Lucene对XML文档的索引建立将会更加高效和智能化。

    Lucene5学习之增量索引(Zoie)

    Lucene本身并不直接支持增量索引,因此,开发者们开发了Zoie系统,它是基于Lucene的一个扩展,旨在解决大数据量场景下的实时索引问题。Zoie的名字来源于“Zero Indexing Overhead”,即零索引开销,它的核心思想是...

    基于lucene技术的增量索引

    本文将深入探讨如何利用Lucene实现增量索引,这是一种在数据库或文件系统更新时仅对新数据或变化数据进行索引的技术,以降低资源消耗并保持搜索性能。 **1. Lucene基础知识** Lucene首先需要理解的是它的核心概念,...

    基于Lucene和HDFS的PB级数据索引、搜索、存储系统.zip

    《基于Lucene和HDFS的PB级数据索引、搜索、存储系统》 在当今大数据时代,处理PB级别的数据已经成为常态。为了有效地管理和利用这些海量数据,我们需要强大的数据索引、搜索和存储解决方案。这里我们将深入探讨一个...

    lucene 4.7.2 Demo

    创建索引是全文检索的基础,它涉及将文本数据结构化为Lucene可以理解和查询的形式。开发者可以通过Analyzer类来处理输入的文本,进行分词、去除停用词等预处理步骤。然后,使用Document类表示要索引的数据,Field类...

    深入 Lucene 索引机制

    《深入 Lucene 索引机制》这篇博文主要探讨了Lucene这个全文搜索引擎的核心索引原理,它在信息检索领域有着广泛的应用。Lucene是一个开源的Java库,它提供了高效、可扩展的文本搜索功能。以下是对Lucene索引机制的...

    luke8用于查看lucene保存的索引库数据和文档数据

    而luke8,则是针对Lucene开发的一款可视化工具,允许开发者和管理员直接查看并分析Lucene索引库中的数据。 **1. lucene全解** Lucene的核心功能在于构建和管理全文索引。它将非结构化的文本数据(如网页、文档)...

    lucene演示需要的数据

    在这个压缩包文件中,"data"可能包含Lucene用来建立索引和进行搜索的实际文档或结构化数据。 在Lucene的工作流程中,数据通常指的是文本文件、数据库记录或其他形式的信息,这些信息需要被索引以便快速检索。这些...

    用Lucene.net对数据库建立索引及搜索

    《使用Lucene.NET对数据库建立索引及搜索》 在信息技术领域,搜索引擎是不可或缺的一部分,尤其是在处理大量数据时。Lucene.NET是一个强大的全文搜索引擎库,它允许开发人员在应用程序中集成高级搜索功能。本文将...

    lucene做索引查询流程

    lucene 做索引查询流程,来自《lucene in action》

    Lucene之删除索引

    首先,删除索引是Lucene中一个关键的操作,因为随着时间的推移,数据可能会更新或过时,此时就需要删除旧的索引信息。Lucene的索引删除过程并不像传统的文件系统删除那么简单,它涉及到对倒排索引结构的修改。 1. *...

    lucene.net 2.9.2 实现索引生成,修改,查询,删除实例

    在这个实例中,我们将深入探讨如何使用Lucene.NET 2.9.2来实现索引的生成、修改、查询和删除。 **一、索引生成** 首先,我们需要创建一个索引,这是全文检索的基础。在Lucene.NET中,我们通常会定义一个文档类,...

    Lucene3.0创建索引

    在Lucene3.0中创建索引是一个关键功能,可以帮助用户快速地检索和管理大量的文本数据。本篇文章将详细介绍如何使用Lucene3.0来创建索引,并通过一个具体的例子来演示整个过程。 #### 一、Lucene3.0简介 Lucene是一...

    Lucene 索引的简单使用

    - **索引(Index)**:索引是Lucene处理数据的核心,它将文本数据转换为可供快速搜索的结构。 - **分词器(Tokenizer)**:分词器将输入的文本分解为一系列的词语,这是建立索引的第一步。 - **分析器(Analyzer)...

    Lucene索引器实例

    - **索引(Index)**:索引是Lucene对文档进行处理后生成的数据结构,用于快速查找满足特定查询条件的文档。 - **分词(Tokenization)**:将文档内容分割成独立的词语,称为“术语”或“Token”。 - **分析器...

    Lucene5学习之创建索引入门示例

    Lucene是一个开源的Java库,它提供了索引和搜索大量文本数据的能力。索引过程将文本转换为可搜索的数据结构,而搜索则通过这个索引来快速找到相关文档。在这个过程中,我们通常会涉及到以下关键组件: 1. **...

    lucene索引查看工具luck7.4.0

    `Luck`,全称`Luke`,是一款强大的Lucene索引浏览器和分析器工具,可以帮助开发者、数据分析师以及对Lucene感兴趣的人员查看、理解和调试Lucene索引。 `Luke 7.4.0`是这款工具的一个特定版本,它专门设计用来与...

    用LUCENE连击MYSQL建立索引并搜索的JAVA代码。

    在这个场景中,我们讨论的是如何结合Lucene和MySQL来实现一个Java应用程序,该程序能够从MySQL数据库中提取数据,创建索引,并进行高效的搜索。 首先,我们需要理解Lucene的工作原理。Lucene通过分析文本,将文档...

    lucene全文检索简单索引和搜索实例

    3. 索引(Index):索引是Lucene的核心,它将原始文本转化为一种可快速搜索的数据结构。通过分词器(Analyzer),将文本分解成单词(Token),然后构建倒排索引(Inverted Index),使得我们可以高效地查找包含特定...

    lucene并行索引

    - **内存缓冲机制**:通过将临时索引数据存储在内存中而不是磁盘上,可以显著提高索引构建的速度。这是因为内存访问速度远快于磁盘访问速度。 - **分布式处理**:将待索引的文档分割成多个子集,并分配给不同的计算...

Global site tag (gtag.js) - Google Analytics