- 浏览: 2639660 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
我是通过 python脚本对solr 进行cache测试的：
1. 在同一个请求中会被缓存，但进程结束之后 cache 就失效了。
2. 时间范围过滤对性能影响很大： 6天200ms，60天800ms，4倍差异。
3. 经测试not id :0和普通关键字性能没有差异。
测试代码：
fq = ['category:9 OR category:1', '-pop_score:0', '-status:6', '-photo_id:0', 'buyable:0 OR buyable:11 OR buyable:14', 'favorite_count:[1 TO *]']
from_date = datetime.datetime.now() - datetime.timedelta(days=60)
fq.append("add_datetime:[%s TO *]" % from_date.strftime("%Y-%m-%dT%H:%M:%SZ"))
tag_set = ['NOT id:0']
kw = tag_set and " OR ".join(tag_set) or "*:*"
query(kw, sort=sort, fq=fq)
count = 0
while count<5:
query(kw, start=count*24,sort=sort, fq=fq)
count= count+1
请求参数：
NOT id:0 {'fq': ['category:9 OR category:1', '-pop_score:0', '-status:6', '-photo_id:0', 'buyable:0 OR buyable:11 OR buyable:14', 'favorite_count:[1 TO *]', 'add_datetime:[2012-05-13T17:48:31Z TO *]'], 'rows': 24, 'start': 0}
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=0&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=1232
（第一次请求
）
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=0
&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=0 (cache
)
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=24
&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=1 (cache
)
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=48
&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=0 (cache
)
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=72
&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=0 (cache
)
Jul 12, 2012 5:46:00 PM org.apache.solr.core.SolrCore execute
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=96
&q=NOT+id:0&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=favorite_count:[1+TO+*]&fq=add_datetime:[2012-05-13T17:45:59Z+TO+*]&rows=24&version=2.2} hits=111738 status=0 QTime=0 (cache
)
这几个请求也没有走cache.
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=90&q=*&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=add_datetime:[2012-06-18T21:03:33Z+TO+*]&fq=favorite_count:[1+TO+*]&rows=30&version=2.2} hits=38600 status=0 QTime=561
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=1380&q=*&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=add_datetime:[2012-06-18T21:11:58Z+TO+*]&fq=favorite_count:[1+TO+*]&rows=30&version=2.2} hits=38589 status=0 QTime=656
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=90&q=*&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=add_datetime:[2012-06-18T21:11:58Z+TO+*]&fq=favorite_count:[1+TO+*]&rows=30&version=2.2} hits=38589 status=0 QTime=701
INFO: [feed] webapp=/solr path=/select params={fl=id&sort=last_replied_datetime+desc&start=120&q=*&wt=standard&fq=category:9+OR+category:1&fq=-pop_score:0&fq=-status:6&fq=-photo_id:0&fq=buyable:0+OR+buyable:11+OR+buyable:14&fq=add_datetime:[2012-06-18T21:11:58Z+TO+*]&fq=favorite_count:[1+TO+*]&rows=24&version=2.2} hits=38589 status=0 QTime=634
http://hankesi2000.iteye.com/blog/1083377
发表评论
-
三种solr提交(commit)索引的方式
2014-03-01 13:40 20927三种solr提交索引的 ... -
solr build索引性能
2014-03-01 13:26 1537测试代码 package mytest; impo ... -
Solr性能优化之filterCache
2014-02-27 10:48 941原文：Solr性能优化之filterCache 什么是f ... -
SolrCore查询过程源码分析
2014-02-12 15:37 1241一.环境启动代码 SolrResourceLoader. ... -
通过设置SolrInputDocument 的boost来改变文档评分
2014-01-31 23:18 1542solr通过关键字查询后的文档得分最后要乘以这个boost因 ... -
Solr 使用 Log4j
2014-01-25 21:31 2390原文出处：http://blog.chenlb.com/20 ... -
solr基本概念
2014-01-25 20:49 1398原文:http://www.solrtutorial.com ... -
solr load比较高
2013-12-02 09:50 1064最近solr的load比较高，通过jstack查看： 写 ... -
Solr索引放入内存
2013-08-28 11:45 10021在一次技术群中，中听到一位sina的架构师，他们是采用基于l ... -
solr build索引遇到控制字符的错误
2013-08-23 15:12 617今天build solr 索引遇到如下错误： 发现提 ... -
solr 更新index的最佳实践
2013-08-22 15:24 1011其中重要一点是，solr不运行并发commit。 懒得翻 ... -
Scaling Solr（Solr的扩展）
2013-08-21 20:55 695Solr 的扩展 (Scaling) 当你的索 ... -
Lucene Scoring 评分机制
2013-08-21 20:52 716Lucene 评分体系/机制 ... -
solr build index例子
2013-08-20 14:24 860p = PeopleDO({'userid':101,'s ... -
solr build索引时commit与optimize的概念
2013-08-20 14:22 1931大家都知道，solr在提交索引的时候有commit和opt ... -
solr in action
2013-08-20 13:56 1232solr in action电子书 -
solr的函数查询_FunctionQuery_总结
2012-12-21 15:55 4182作用 函数查询的作用，是影响计算score的算法，并不替 ... -
solr java客户端build索引
2012-12-17 17:08 1081package com.duitang.views.tes ... -
Solr搜索的排序打分规则
2012-11-20 17:48 2443使用Solr搭建搜索引擎很容易，但是如何制定合理的打分规则(b ... -
Solrj
2012-11-20 14:17 977solr 的java客户端可比python复杂一些，贴点代码: ...
相关推荐
LFUCache 基于条目的访问频率来决定哪些条目应该被移除。当缓存满时，访问频率最低的条目会被淘汰，以让位于新的条目。这种策略旨在保留最常使用的条目，从而提高整体性能。 在 Solr 中，缓存主要用作加速查询和...
Solr提供了两种主要的`SolrCache`接口实现类，即`solr.search.LRUCache`和`solr.search.FastLRUCache`。 1. **solr.search.LRUCache**：基于LRU（Least Recently Used，最近最少使用）算法实现，适用于需要根据访问...
SolrCache缓存 - **LRUCache**：采用了最近最少使用的策略来管理缓存中的数据，当缓存空间不足时，会优先移除最近最少使用的项。 - **FastLRUCache**：这是在Solr 1.4版本中引入的一种更高效的缓存实现方式，相较...
<cache name="queryResultCache" class="org.apache.solr.cache.LRUCache" default="true"> <int name="size">1000 </cache> ``` 4. **Cache的命中监控**：通过监控工具检查缓存的命中率，以评估缓存的效果...
### Solr教材知识点详解 #### 一、概述 **1.1 企业搜索引擎方案选型** 在企业级应用中，为了提升用户体验并更好地处理大量数据的检索需求，选择合适的搜索引擎解决方案至关重要。通常有几种常见的方案： 1. **...
9. **性能优化**：Solr包含多种性能优化策略，如块级存储（Block Store）、缓存机制（Query Result Cache、Document Cache等）以及并发控制策略，以提高查询速度和系统响应时间。 10. **监控与日志**：Solr提供了...
<cache name="queryResultCache" class="solr.search.LRUCache" shared="true" size="512" initialSize="512" autowarmCount="100" regenerator="solr.NoOpRegenerator" cacheImpl="solr....
Solr的缓存机制包括filterCache、queryResultCache和documentCache，它们分别用于优化过滤器、查询结果和文档的缓存操作。文档还提供了一个关于SolrJ的介绍，SolrJ是Solr的Java客户端，它支持与Solr服务器的交互。...
10. **性能优化**：了解Solr的缓存机制（如QueryResultCache、DocumentCache等）和并发控制策略，有助于提高Java应用与Solr交互的性能。 通过理解和应用上述知识点，Java开发者能够在项目中顺利地集成Solr，构建...
9. **搜索性能优化**：Solr提供多种手段来优化搜索性能，如使用倒排索引、缓存策略、查询过滤器缓存（QueryResultCache）、文档缓存（DocumentCache）等。 总的来说，Solr-4.9.1是一个全面的搜索引擎解决方案，它...
这些缓存在`Cache`接口和相关实现类中定义。 10. **插件系统**：Solr允许用户自定义查询解析器、过滤器、请求处理器等，源代码中有很多插件实现的例子。 通过研究Apache Solr 3.6.1的源代码，不仅可以深入了解其...
Solr提供了一种跳转分页的方式，即通过`fq`参数配合`cache`和`query`，避免计算所有结果，从而提高性能。 6. SolrCloud与分布式分页： 在SolrCloud模式下，Solr支持分布式搜索和分片，这意味着分页请求会被自动...
3. **缓存机制**：利用Solr提供的多种缓存机制（如Field Cache、Query Result Cache等），减少对索引文件的访问。 4. **并行处理**：利用SolrCloud的分布式特性，实现数据的并行处理。 5. **资源管理**：合理分配...
- **缓存机制**：合理利用缓存可以极大地提高查询速度，如使用 QueryResultCache 和 DocValuesCache 等。 2. **查询优化**： - **过滤器与排序**：使用过滤器而不是查询来限制结果集，这可以显著提高查询效率。 ...
### 开源企业搜索引擎SOLR的应用教程 #### 一、概述与特性介绍 **1.1 企业搜索引擎方案选型** 对于门户社区等网站来说，搜索引擎功能是提升用户体验的关键因素之一。当前，针对搜索引擎功能的需求有多种解决方案...
### 开源企业搜索引擎SOLR的应用教程 #### 一、概述 **1.1 企业搜索引擎方案选型** 随着互联网的发展以及用户对于信息检索需求的增长，企业级搜索引擎成为了提升用户体验的关键技术之一。针对不同的应用场景，有...
- **使用缓存**：利用Solr的缓存机制，如QueryResultCache和FieldCache，减少对磁盘的访问，提高查询速度。 - **并行处理**：利用多核CPU进行并行索引和查询，提高处理效率。 - **负载均衡**：通过Sharding（分片）...