当数据库单表的存储能力及计算能力到达瓶颈时,常见的操作就是进行分库分表。
假设现在三台服务器,有三种数据对应三张表(solr里面就是三种core),这些数据需要不间断的写入到solr中,由于数据量大,且不断写入(并发高),需要对分core。这个时候有两种方案:
- 一类数据对应一台服务器,按数据总量及增量计算分片策略(按天、按月、按年分core)
- 三类数据同时写入到三台服务器,即每台服务器同时存在三种数据。
在具体运用中,由于第一种方便管理,往往会被采用。第一种方案由于数据往往是随时间变化,故写入性能不会受到影响。但是高强度查询中。solr实例常常假死(就是进程还在,但是无法查询),因为当一类数据全部放置在同一台服务器上时,当查询时间跨度大,需要同时加载对个core,导致内存溢出,而且服务器负载飙升。如果是对三类数据同时进行高负荷的查询,不管何种方式都难以降低负载,但是现实中,往往数据的大小及运用场景各不相同,将不同的数据混搭在不同服务器,充分利用多台服务器的计算能力,反倒能提高单次查询的性能和稳定性。
转载于:https://my.oschina.net/u/2244820/blog/1803355
分享到:
相关推荐
Solr是Apache Lucene项目下的一个企业级搜索服务器,它提供了全文检索、高效能的存储和检索、分布式处理以及多租户能力。本项目示例是针对Solr 5.5.4版本的一个实践应用,旨在帮助用户了解并掌握Solr的基本操作,...
这里的 `hostList` 方法负责将索引文档分配到指定的 Solr 服务器。 在分布式环境中,Solr 支持复制和自动故障转移,确保数据的高可用性和一致性。SolrCloud 模式进一步增强了这些特性,利用 ZooKeeper 进行集群管理...
### Solr3.5开发应用指导 ...以上是对Solr3.5开发应用指导的详细解读,涵盖了从安装配置到具体应用的各个方面。通过这些内容,开发者可以更好地理解和掌握Solr的强大功能,从而构建高效、稳定的搜索服务。
在部署和配置上,Solr可以与Tomcat等应用服务器集成。安装过程中需注意版本选择,以及验证安装是否成功。对于中文分词,Solr支持mmseg4j和paoding等分词库。多核配置是Solr实现多租户或不同业务场景搜索的关键,每个...
- **1.2.6 复制**:Solr支持主/从架构,通过复制功能可以在多个服务器间同步索引数据,确保数据的一致性和冗余。 - **1.2.7 管理接口**:Solr提供了一个直观的管理界面,可以方便地监控索引状态、执行查询、管理索引...
1. 下载:首先从 Apache 官方网站下载最新版的 solr-8.5.2.tgz 文件。 2. 解压:使用 `tar -zxvf solr-8.5.2.tgz` 命令解压压缩包到指定目录。 3. 启动 Solr:进入解压后的目录,运行 `bin/solr start -e cloud` ...
您可以根据需求修改`solr.in.sh`(Linux)或`solr.in.cmd`(Windows)中的环境变量,如内存分配和Java选项。 4. **启动Solr服务器**:执行`bin/solr start`命令来启动Solr服务器。这将启动一个Jetty web服务器,...
1. **集群管理**: Zk集群负责存储和同步Solr集群的所有配置信息,如分片分配、核心状态等。 2. **选举Master**: 当节点故障时,Zookeeper会协助选举新的主分片,保证服务的连续性。 3. **客户端路由**: 客户端查询...
Solr是Apache软件基金会开发的一款高性能、基于Java的全文搜索引擎服务器。它允许用户通过HTTP请求对索引进行创建、更新和查询操作,广泛应用于企业级的搜索应用。本篇文章将详细解析"solr-5.4.0.tgz"安装包的安装...
1. **Solr Core**:Solr Core是Solr的基本工作单元,每个Core可以独立地处理索引和查询任务。它可以看作是一个独立的搜索引擎实例,有自己的索引和配置。在SolrCloud模式下,Core的配置存储在Zookeeper中,增强了...
3. **应用目录**:创建对应应用的目录,例如/solr/video/和/solr/album/,并为每个应用分配独立的索引目录,如/solr/data/album和/solr/data/video。 4. **基础目录创建**:在/solr/目录下创建album和video目录,...
Solr 7官方文档是关于Apache Solr 7版本的详尽指南,它是一个高度可扩展、高性能的全文搜索引擎服务器,广泛应用于企业级搜索场景。Solr基于Java开发,能够处理大量的索引和查询请求,并提供了丰富的功能来满足各种...
### Apache Solr 企业搜索引擎教程知识点总结 #### 1. Apache Solr 概述 - **Solr**:Apache Solr 是一款高度可扩展且高性能的企业级搜索平台,由Apache软件基金会维护。它是一个开源搜索服务器,使用Java语言编写...
通过Zookeeper提供的界面配置SolrCloud的核心集合(core collection),包括分片数量、副本数量等。 4. **数据导入与索引**:将待搜索的文档导入SolrCloud集群,进行索引创建。 5. **性能调优**:根据实际情况调整索引...
要确保Solr的良好性能,用户可能需要调整各种设置,例如内存分配、线程池大小、缓存策略等,这些都需要对Solr的内部机制有深入理解。 总之,"solr-所需要ajr包.zip"包含了运行Solr所需的各种JAR文件,覆盖了从基础...
- **4.2.3 Reading Data from Solr**:说明如何使用SolrJ从Solr服务器读取数据。 **4.3 创建查询** - 使用SolrJ创建查询对象,并设置查询条件。 **4.4 使用SolrJ创建索引** - 使用SolrJ提供的API将数据添加到...
- `org.apache.solr.core`:核心组件,如SolrCore。 - `org.apache.solr.update`:索引更新相关的类。 - `org.apache.solr.search`:搜索相关的类。 - `org.apache.solr.handler`:处理请求的组件。 **1.5 版本...
### 大型SpringMVC、Mybatis、Redis、Solr、Nginx、SSM分布式电商项目视频教程知识点概述 #### 一、SpringMVC框架介绍与应用 **SpringMVC**是Spring框架的一个模块,它实现了MVC设计模式,主要用于构建Web应用程序...
- **物理结构**:一个 SolrCloud 集群通常由多个 Solr 实例组成,每个实例又包含了若干个 Core。例如,在一个示例集群中,存在三个 Solr 实例,每个实例包含两个 Core。 - **逻辑结构**: - **Collection**:逻辑...