`
lzj0470
  • 浏览: 1270858 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

sphinx遭遇sql_range_query: MySQL server has gone away错误

阅读更多
Coreseek一直运行的好好的,但最近有些搜索不到了,重建次索引也不行。

仔细查看了运行提示,如下
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)

using config file '/usr/local/coreseek/etc/csft.conf'...
indexing index 'hx_line'...
ERROR: index 'hx_line': sql_range_query: MySQL server has gone away (DSN=mysql://root:***@localhost:3306/hx_db).
total 302579 docs, 14798361 bytes
total 33.659 sec, 439652 bytes/sec, 8989.49 docs/sec
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 242 writes, 0.572 sec, 1021.9 kb/call avg, 2.3 msec/call avg


错误提示是这个:
sql_range_query: MySQL server has gone away

在SE中搜索未果,看来没人碰上过这问题啊!

我是有使用sphinx的分区查询功能,设置了sql_range_step和sql_ranged_throttle。尝试调整这两个参数运行,但都不行。
每次都是索引到30w的文档时,卡住约10多秒,然后就显示上面的内容了。

想到我的mysql的配置有设置超时时间,应该是这个配置影响了它吧。
wait_timeout=8
interactive_timeout=8

在csft.conf中,加入
sql_query_pre= set session wait_timeout = 60;
sql_query_pre= set session interactive_timeout=60;

后,运行
bin/indexer hx_line --rotate


同样运行到30w之后,停住了约十几秒,然后又继续了:)
问题解决了!

那么为什么运行到30w时会卡住呢?猜测是我设置的mem_limit=512M的问题,难道是设置太小了?再仔细看了文档,找到答案了
mem_limit 索引过程内存使用限制.可选选项,默认 32M. 这是 indexer 不会超越的强制内存限制.可以以字节,千字节(以 K 为后缀)或兆字节(以 M 为后缀)为单位.参见示例.当过小的值导致 I/O 缓冲低于 8KB 时该限制会自动提高,此 值的最低限度依赖于待索引数据的大小.如果缓冲低于 256KB,会产生警告. 最大可能的限制是 2047M.太低的值会影响索引速度,但 256M 到 1024M 对绝大多数数据 集(如果不是全部)来说应该足够了.这个值设得太高可能导致 SQL 服务器连接超时.在文档收集阶段,有时内存缓冲的一部分会被排序,而与数据库的通信会暂停,于是数据库服务器可能超时.这可以通过提高 SQL 服务器端的超时时间或降低 mem_limit 来解决.



原来居然是因为mem_limit这个值设高了。。。!在文档收集阶段,有时内存缓冲的一部分会被排序,而与数据库的通信会暂停,所以看到了运行到30w时卡住的情况,然后化了十几秒,超过了我设置的8s的限制,所以报MySQL server has gone away了。

分享到:
评论

相关推荐

    Python库 | sphinx_markdown_tables-0.0.1-py2-none-any.whl

    标题中的“sphinx_markdown_tables-0.0.1-py2-none-any.whl”是一个Python库的安装包,主要用于在Sphinx文档中处理Markdown格式的表格。Sphinx是一款强大的文档生成工具,常用于创建软件项目的API文档、用户指南等。...

    Python库 | sphinx_rtd_theme-0.2.2.tar.gz

    资源分类:Python库 所属语言:Python 资源全名:sphinx_rtd_theme-0.2.2.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059

    Sphinx入门.docx

    1. 在使用 Sphinx 时可能会出现一些错误,例如 sql_connect: failed to load libmysqlclient。 2. 解决方法是修改 /etc/ld.so.conf 文件,添加 /usr/lib64/mysql 路径,然后运行 ldconfig 命令。 Sphinx 是一个功能...

    PyPI 官网下载 | sphinx_book_theme-0.1.4-py3-none-any.whl

    标题中的"PyPI 官网下载 | sphinx_book_theme-0.1.4-py3-none-any.whl"提到了两个关键概念:PyPI(Python Package Index)和sphinx_book_theme。PyPI是Python社区的官方软件仓库,用于发布和分享Python软件包。...

    Python库 | sphinx_qt_documentation-0.3.tar.gz

    《Python库sphinx_qt_documentation-0.3:构建优雅的Qt文档》 在Python的世界里,良好的文档是项目成功的关键因素之一。Sphinx是一个强大的文档生成工具,而`sphinx_qt_documentation`则是Sphinx的一个扩展,专门...

    sphinx_tools_bin_x64.rar

    包含\Release\x64下的sphinx_cepview.exe, sphinx_fe.exe, sphinx_jsgf2fsg.exe,sphinx_lm_convert.exe,sphinx_pitch.exe,sphinx_seg.exe等工具,用于将zh_broadcastnews_64000_utf8.DMP转换成language-model.lm....

    PyPI 官网下载 | sphinx_autodoc_typehints-1.15.2.tar.gz

    《PyPI与sphinx_autodoc_typehints:构建高效文档的利器》 在Python的世界里,PyPI(Python Package Index)是最重要的软件仓库,它为开发者提供了上传、分享和下载Python包的平台。"sphinx_autodoc_typehints-...

    CoreSeek/Sphinx中文手册

    CoreSeek/Sphinx是一款强大的开源全文搜索引擎,最初基于俄罗斯数据库公司Altap的数据库搜索引擎技术。它为互联网和企业级应用提供快速、有效的搜索解决方案。Sphinx特别适合处理大量数据和提供实时搜索服务。Sphinx...

    Python库 | sphinx_book_theme-0.2.0-py3-none-any.whl

    资源分类:Python库 所属语言:Python 资源全名:sphinx_book_theme-0.2.0-py3-none-any.whl 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059

    Sphinx+MySQL_jgsj

    在DELL PowerEdge 6850服务器(四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存)、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测,单表1000万条记录的数据量(这张MySQL表...

    sphinx_rtd_theme, Sphinx的readthedocs.org 主题.zip

    sphinx_rtd_theme, Sphinx的readthedocs.org 主题 阅读文档Sphinx主题内容阅读了文档Sphinx的主题。安装工具通过软件包通过git或者下载。配置文件项目广泛配置插件基本选项目录选项页级别配置文件变更日志文件主v0.2

    PyPI 官网下载 | sphinx_wagtail_theme-5.0.2.tar.gz

    《PyPI官网下载:深入解析sphinx_wagtail_theme-5.0.2》 PyPI(Python Package Index)是Python开发者的重要资源库,它提供了众多的Python库和模块供全球用户下载使用。今天我们将深入探讨一个名为`sphinx_wagtail_...

    PyPI 官网下载 | sphinx_code_tabs-0.2.0.tar.gz

    `sphinx_code_tabs-0.2.0.tar.gz`是一个从PyPI官网下载的压缩包,它包含了`sphinx_code_tabs`库的版本0.2.0。这个库主要服务于Python的文档构建工具——`Sphinx`。 `Sphinx`是一个强大的文档生成器,广泛用于编写...

    PyPI 官网下载 | sphinx_ansible_theme-0.2.3-py2.py3-none-any.whl

    标题中的"PyPI 官网下载 | sphinx_ansible_theme-0.2.3-py2.py3-none-any.whl"表明我们正在讨论一个在Python Package Index (PyPI) 上发布的软件包,名为`sphinx_ansible_theme`。这个包的版本是0.2.3,适用于Python...

    PyPI 官网下载 | sphinx_audeering_theme-1.1.2.tar.gz

    《PyPI官网下载:sphinx_audeering_theme-1.1.2.tar.gz——Python库解析》 在Python的世界里,PyPI(Python Package Index)是最重要的资源库,它为开发者提供了一个平台来分享和下载各种Python库。今天我们要探讨...

    sphinx_doc_zhcn_0.9 sphinx 中文教程

    Sphinx lets you either batch index and search data stored in an SQL database, NoSQL storage, or just files quickly and easily — or index and search data on the fly, working with Sphinx pretty much as...

    PocketSphinx_is_a_lightweight_speech_recognition

    PocketSphinx_is_a_lightweight_speech_recognition_e_pocketsphinx_e_pocketsphinx.zip

Global site tag (gtag.js) - Google Analytics