原文地址:http://blog.phpdr.net/sphinx-mysql-innodb-join.html
数据源是MyISAM一般情况下不会有什么问题,数据量不是超大的情况下速度很快。现在的情况是我把所有数据表改成了InnoDB,有一个数据源建立索引的速度慢了100倍,数据源是一个联表的结果,60W联5W。
建立索引的时候iostat查看io状态%util一栏始终是100,增加innodb_buffer_pool_size也没有用,一共没多少内存,这个值改多大也是杯水车薪。
把两张表改回MyISAM之后建立索引速度恢复正常,为了这个全文索引改引擎不太合适,没想到innodb和myisam区别这么大。后来到sphinx官网查手册找到了解决办法,建立索引时每次取一部分数据解决问题。
source lrc
{
type = mysql
sql_host = 127.0.0.1
sql_user = xxx
sql_pass = xxx
sql_db = lrc
sql_query_range = SELECT MIN(id),MAX(id) FROM lyrics
sql_range_step = 10000
sql_query = SELECT a.id,a.name as lname,b.name as aname FROM lrc a join artist b on a.artist=b.id where a.id>=$start and a.id<=$end
#sql_attr_uint = group_id
#sql_attr_timestamp = date_added
sql_query_info = SELECT * FROM lrc WHERE id=$id
}
手册地址:http://sphinxsearch.com/docs/2.0.4/sql.html
此条目由ares发表在DB分类目录,并贴了sphinx标签。将固定链接加入收藏夹。
分享到:
相关推荐
2. **创建Sphinx数据源**:在Sphinx服务器上配置索引,定义需要搜索的数据源,包括MySQL数据库连接信息和要索引的表。 3. **建立索引**:定期或实时地从MySQL同步数据到Sphinx,生成搜索索引。可以使用`...
Federated 存储引擎不存储数据,它指向一台远程 MySQL 数据库上的表。 ### 1.3.7 Maria 存储引擎 Maria 存储引擎是 MyISAM 的后续版本,支持缓存数据和索引,行锁设计,支持 MVCC,支持事务和非事务安全的选项,...
Sphinx可以与SQL数据库和脚本语言集成,并支持多种数据源,包括MySQL和PostgreSQL。 二、Sphinx的特性 1. 高速的建立索引(在当代CPU上,峰值性能可达到10 MB/秒) 2. 高性能的搜索(在2-4GB的文本数据上,平均...
- 当需要在MySQL端对Sphinx结果集做额外处理时(如原始文档表的JOIN操作,MySQL端的额外过滤等)。 #### 二、Windows 平台上安装和使用 Sphinx/Coreseek ##### 2.1 获取文件 - **Coreseek**:从官方网站 ...
1. **索引构建**:Sphinx 提供了一个名为 `indexer` 的工具,用于从数据源(如 MySQL、PostgreSQL)抽取信息并建立倒排索引。 2. **实时更新**:Sphinx 支持实时索引更新,允许在不影响服务的情况下添加、修改或删除...
MySQL优化是一个涵盖多个方面的主题,包括硬件配置优化、数据库配置优化、数据表设计优化、索引优化以及SQL语句的优化。以下是对这些关键领域的详细解释: **硬件配置优化** 1. **CPU选择**:多核CPU能提高并行处理...
使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数才几万条,但查询的速度非常慢,大概要4~5分钟左右 【处理过程】 1)explain 首先怀疑索引没有建好,于是使用explain查看查询计划,结果...
- **分页查询优化**:在多个表进行分页数据查询时,应在单个表上先完成过滤和分页,然后与其他表JOIN,以减少不必要的IO操作。 通过上述策略和技术的应用,可以在很大程度上提升Mycat及后端MySQL数据库的整体性能,...
在电商项目1中,我们面临着...总结来说,电商项目1的架构设计着重于优化性能、扩展性和高可用性,通过合理配置服务器硬件,结合Apache、Varnish、MySQL、Sphinx等技术,构建了一个能够应对高并发、高PV场景的电商系统。
- Sphinx是一个支持SQL的全文检索引擎,可以与MySQL配合使用,提供更专业的搜索功能。 - Solr比Lucene搜索效率更高,支持HTTP访问,PHP调用方便。 - MySQL的FULLTEXT索引仅在MyISAM引擎下支持,InnoDB自5.6版本起...