-
关于SolrCloud建索引的速度问题请教？5
最近在用SolrCloud，有些问题不解，向大家请教一下。
我们的业务要求每天定时向Solr中写大概5000万条记录，Solr中只保存30天的数据。考虑数据切分的时候也需考虑能够将数据快速的插入。
方案一：分30个shard，每个shard存一天的数据，这样每天建索引的时候需要选定一个shard去做。起初担心一个shard去做会不会速度比较慢。
方案二：不改变SolrCloud的路由机制，也就是随机分配。考虑这样多个shard并发建索引应该会比方案一快。
为了验证自己的想法，我进行的简单的测试，测试结果却并不和我想象的一致。
首先测试单个shard上建5000万条记录的索引，然后再在3个shard上建相同的索引，发现后者比单个shard上花的时间还要久，请问这个为什么呢？
我的数据时放在csv文件中，用csv update导的。
2013年10月10日 14:13
添加评论
关注(0)
目前还没有答案
相关推荐
当聚簇索引建立之后，表中数据的物理顺序会与键值的逻辑顺序保持一致，这种特性使得基于键值的查询操作（特别是范围查询）速度非常快，因为数据几乎是有序存储的。 更新数据时，聚簇索引会自动维护。这意味着，当表...
### 56 solrCloud分布式搜索与索引过程 #### 知识点一：SolrCloud简介 在深入了解SolrCloud的分布式搜索与索引过程之前，我们需要对SolrCloud有一个基本的认识。SolrCloud是Apache Solr的一个扩展模块，它提供了一...
在C#编程中，"索引超出了数组界限"是一个常见的错误，通常发生在尝试访问数组元素时，使用的索引值超过了数组定义的合法范围。数组的索引是从0开始的，因此一个包含n个元素的数组，其有效的索引范围是0到n-1。如果你...
"Oracle 海量数据中提升创建索引的速度" Oracle 海量数据中提升创建索引的速度是指在 Oracle 数据库中，特别是在海量数据的情况下，如何提高创建索引的速度。创建索引是数据库优化中的重要步骤，但是在海量数据的...
SolrCloud是Apache Solr提供的一种分布式搜索解决方案，尤其适用于需要大规模容错、分布式索引和检索能力的应用场景。当索引数量较少时，通常无需启用SolrCloud；但在面对庞大的索引数据量和高并发搜索请求时，...
什么是索引？ 在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值得集合和相应的指向表中物理标识这些值得数据页的逻辑指针清单。索引的作用...
- **索引的作用**：索引是数据库中用于提高查询速度的一种数据结构。它类似于书籍的目录，可以帮助数据库管理系统快速定位到数据所在的物理位置，从而加快数据检索的速度。 - **索引类型**： - **非聚集索引...
Oracle和SQL Server作为两种广泛应用的关系型数据库管理系统，都支持创建和管理索引以优化查询速度。本文将深入探讨这两个数据库系统中如何批量创建和删除索引，以及它们对系统运行效率的影响。 首先，让我们了解...
SolrCloud是Apache Solr的一项重要特性，为大规模、高容错性和分布式索引与检索提供了强大的解决方案。当面临大量索引数据和高并发搜索请求时，采用SolrCloud能够有效地应对挑战。它基于Solr和Zookeeper构建，通过...
SolrCloud模式引入了Zookeeper作为集群协调者，实现了分布式索引、搜索以及配置管理。在这个环境中，多个Solr节点组成一个集群，共同提供服务。 1. **分布式索引**：在SolrCloud中，数据被分割成多个逻辑单元，称为...
同时，对索引优化、查询性能调优也是提升SolrCloud性能的关键环节。 总的来说，SolrCloud 6的安装配置涉及到多个步骤，包括下载安装、集群启动、创建Collections、配置分词器以及导入数据。理解并掌握这些流程，将...
### SolrCloud概述 SolrCloud作为Apache Solr的一个核心特性，主要...综上所述，SolrCloud不仅能够有效解决大数据量下的搜索性能瓶颈问题，还提供了强大的容错机制和扩展能力，非常适合用于构建大型企业级搜索系统。
- **故障排查**：通过日志分析、性能调优和问题定位，确保SolrCloud集群稳定运行。 总之，SolrCloud结合ZooKeeper为大规模的全文搜索和数据分析提供了强大的分布式解决方案，通过精心的集群规划、配置管理和运维...
在SQL Server数据库中，索引是提升数据处理效率的关键手段，尤其对于联机事务处理（OLTP）系统，快速的数据查询速度是系统性能的核心指标。本文主要探讨如何通过合理使用索引来优化SQL Server的性能。 首先，我们来...
2. **索引覆盖**：如果查询仅涉及索引中的列，且这些列包括分区字段，那么索引覆盖现象可以进一步提升查询速度，因为MySQL可以直接从索引中获取所有需要的数据，而无需回表到原始数据行。 3. **唯一性约束**：如果...
索引的建立对于MySOL的高效运行是很重要的，索引可以大大提高MvSOL的检索速度。打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车拿汉语字典的目录页...
lucene 建索引的基本实例 Lucene 是一个高性能的、基于 Java 的全文搜索引擎，广泛应用于搜索引擎、文档管理系统、电子商务平台等领域。在 Lucene 中，索引是搜索引擎的核心组件，负责将文档转换为可被搜索的格式...
### SQL优化、索引的建立和运用以及多表连接建索引的相关知识点 #### SQL优化概述 在数据库系统中，SQL语句的执行效率对于系统的响应时间和资源利用有着至关重要的影响。合理的SQL优化不仅可以显著提升查询速度，还...
这是自定义 Solr 编解码器，用于将基于 SolrCloud 的索引与 Oracle NoSQL 键值集群存储无缝集成。 该代码是使用 Solr 4.10.1 API 和 NoSQL 3.0 API 版本创建的，旨在在 SolrCloud 集群中使用。 它的主要目的和优势...