- 浏览: 2663740 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
原文:http://blog.chenlb.com/2010/03/use-solr-python-client.html
最近开始慢慢使用 python 了,用 python 处理小事情还是很方便的(比 java 开发效率高)。拿 python 来做 solr 索引也方便。
官方有相关的 solr python 客户端 ,我简单对比了下选择 solrpy ,理由是使用说明详细一点、功能丰富一点、项目感得比较活。
tips:从 solr 1.3 开始官方已经不在维护 solr 客户端了。
安装 solrpy:
- easy_install solrpy
- # 或者用源码安装
- python setup.py install
安装 easy_install 我就不写了,使用 python 的人都知道。
查询示例:
import solr s = solr.SolrConnection('http://127.0.0.1:8080/solr') result = s.query("*:*", rows=5) for r in result: print r['id'], r['title']
方便的查询方法。返回的结果用字典类型(如果 object 类型就更方便了)。
官方的示例:
import solr # create a connection to a solr server s = solr.SolrConnection('http://example.org:8083/solr') # add a document to the index s.add(id=1, title='Lucene in Action', author=['Erik Hatcher', 'Otis Gospodnetić']) s.commit() # do a search response = s.query('title:lucene') for hit in response.results: print hit['title']
方法有 query (q, fields=None, highlight=None, score=True, sort=None, **params) 、add_many(list) 、delete(id) 、delete_query(query)、commit(wait_flush=True, wait_searcher=True)、optimize(wait_flush=True, wait_searcher=True) 等方法,还有一个方便的就是翻页 next_batch()。
更多使用请看:http://code.google.com/p/solrpy/source/browse/trunk/solr/core.py 的注释。
越来越喜欢 python 了,python 周边工具/库还是比较多,很容易找到对应的库。当然 solrj 也方便。
更多:http://wiki.apache.org/solr/SolPython
A simple Solr client for python.
Features
--------
* Supports Solr 1.2+
* Supports http/https and SSL client-side certificates
* Uses persistent HTTP connections by default
* Properly converts to/from Solr data types, including datetime objects
* Supports both querying and update commands (add, delete)
* Requires Python 2.3+
Connections
-----------
`SolrConnection` can be passed in the following parameters.
Only `url` is required,.
url -- URI pointing to the Solr instance. Examples:
http://localhost:8080/solr
https://solr-server/solr
Your python install must be compiled with SSL support for the
https:// schemes to work. (Most pre-packaged pythons are.)
persistent -- Keep a persistent HTTP connection open.
Defaults to true.
timeout -- Timeout, in seconds, for the server to response.
By default, use the python default timeout (of none?)
NOTE: This changes the python-wide timeout.
ssl_key, ssl_cert -- If using client-side key files for
SSL authentication, these should be, respectively,
your PEM key file and certificate file
http_user, http_pass -- If given, include HTTP Basic authentication
in all request headers.
Once created, a connection object has the following public methods:
query(q, fields=None, highlight=None,
score=True, sort=None, **params)
q -- the query string.
fields -- optional list of fields to include. It can be either
a string in the format that Solr expects ('id,f1,f2'), or
a python list/tuple of field names. Defaults to returning
all fields. ("*")
score -- boolean indicating whether "score" should be included
in the field list. Note that if you explicitly list
"score" in your fields value, then this parameter is
effectively ignored. Defaults to true.
highlight -- indicates whether highlighting should be included.
`highlight` can either be `False`, indicating "No" (the
default), `True`, incidating to highlight any fields
included in "fields", or a list of field names.
sort -- list of fields to sort by.
Any parameters available to Solr 'select' calls can also be
passed in as named parameters (e.g., fq='...', rows=20, etc).
Many Solr parameters are in a dotted notation (e.g.,
`hl.simple.post`). For such parameters, replace the dots with
underscores when calling this method. (e.g.,
hl_simple_post='</pre'>)
Returns a Response object
add(**params)
Add a document. Pass in all document fields as
keyword parameters:
add(id='foo', notes='bar')
You must "commit" for the addition to be saved.
add_many(lst)
Add a series of documents at once. Pass in a list of
dictionaries, where each dictionary is a mapping of document
fields:
add_many( [ {'id': 'foo1', 'notes': 'foo'},
{'id': 'foo2', 'notes': 'w00t'} ] )
You must "commit" for the addition to be saved.
delete(id)
Delete a document by id.
You must "commit" for the deletion to be saved.
delete_many(lst)
Delete a series of documents. Pass in a list of ids.
You must "commit" for the deletion to be saved.
delete_query(query)
Delete any documents returned by issuing a query.
You must "commit" for the deletion to be saved.
commit(wait_flush=True, wait_searcher=True)
Issue a commit command.
optimize(wait_flush=True, wait_searcher=True)
Issue an optimize command.
raw_query(**params)
Send a query command (unprocessed by this library) to
the Solr server. The resulting text is returned un-parsed.
raw_query(q='id:1', wt='python', indent='on')
Many Solr parameters are in a dotted notation (e.g.,
`hl.simple.post`). For such parameters, replace the dots with
underscores when calling this method. (e.g.,
hl_simple_post='</pre'>)
close()
Close the underlying HTTP(S) connection.
Query Responses
---------------
Calls to connection.query() return a Response object.
Response objects always have the following properties:
results -- A list of matching documents. Each document will be a
dict of field values.
results.start -- An integer indicating the starting # of documents
results.numFound -- An integer indicating the total # of matches.
results.maxScore -- An integer indicating the maximum score assigned
to a document. Takes into account all of documents
found by the query, not only the current batch.
header -- A dict containing any responseHeaders. Usually:
header['params'] -- dictionary of original parameters used to
create this response set.
header['QTime'] -- time spent on the query
header['status'] -- status code.
See Solr documentation for other/typical return values.
This may be settable at the Solr-level in your config files.
next_batch() -- If only a partial set of matches were returned
(by default, 10 documents at a time), then calling
.next_batch() will return a new Response object containing
the next set of matching documents. Returns None if no
more matches.
This works by re-issuing the same query to the backend server,
with a new 'start' value.
previous_batch() -- Same as next_batch, but return the previous
set of matches. Returns None if this is the first batch.
Response objects also support __len__ and iteration. So, the following
shortcuts work:
responses = connection.query('q=foo')
print len(responses)
for document in responses:
print document['id'], document['score']
If you pass in `highlight` to the SolrConnection.query call,
then the response object will also have a "highlighting" property,
which will be a dictionary.
Quick examples on use:
----------------------
Example showing basic connection/transactions
>>> from solr import *
>>> c = SolrConnection('http://localhost:8983/solr')
>>> c.add(id='500', name='python test doc', inStock=True)
>>> c.delete('123')
>>> c.commit()
Examples showing the search wrapper
>>> response = c.query('test', rows=20)
>>> print response.results.start
0
>>> for match in response:
... print match['id'],
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
>>> response = response.next_batch()
>>> print response.results.start
20
Enter a raw query, without processing the returned HTML contents.
>>> print c.raw_query(q='id:[* TO *]', wt='python', rows='10')
发表评论
-
python读取图片exif信息
2014-11-06 10:53 2407f = open("/home/admin/tlo ... -
Python程序的执行原理
2014-04-14 15:44 17331. 过程概述 Python先把代码(.py文件)编译成字 ... -
如何创建一个短链服务
2013-12-26 16:23 0参考: http://stackoverflow.com ... -
python 解析命令参数(argument)组件argparse
2013-12-11 17:35 1410参考: http://youngsterxyf.githu ... -
pyhon命令行工具optparse
2013-11-10 16:27 1045使用python optparse 可以创建命令行工具,下面 ... -
Python在豆瓣的应用
2013-10-21 10:46 1202Python在豆瓣的应用,hongqiangning分享 ... -
用python爬虫抓站的一些技巧总结
2013-10-10 14:12 1686学用python也有3个多月了,用得最多的还是各类爬虫 ... -
python小技巧
2013-10-10 11:50 7481. 声明长度256的数组 a=[0]*256 ... -
使用tesseract-ocr破解网站验证码
2013-10-09 10:25 1215原文:使用tesseract-ocr破解网站验证码 ... -
和豆瓣CMGS交流
2013-06-20 17:36 5849蒋云鹏: 在?CMGS: 在蒋 ... -
python乱码问题('ascii' codec can't encode character u'\u4e2d' in position 0)
2013-05-20 19:03 4258>>> k = u'中' >> ... -
python shell 交互模式
2013-04-28 22:17 1643python 通过code模块可以很容易的进入交互模式: ... -
jython和gunicorn性能测试对比
2013-04-13 13:03 1313helloworld,笔记本上: gunicorn ... -
python的mysql客户端-MySQLdb
2013-04-04 10:13 1176平时的主要编程语言是Java,开发时也主要用Mysql,经常 ... -
Python几种并发实现方案的性能比较
2013-03-18 21:14 2970原文:http://www.elias.cn/P ... -
python汉字和Unicode码(utf-8)之间的转换(Pack/Unpack)
2013-03-18 21:13 1654保证你要转换的字符串编码为UTF8,如果不是,请iconv ... -
python反序列化的坑
2013-01-06 18:06 1285今天遇到python一个坑,调用memcached的get_m ... -
sqlalchemy connection pool.py 源代码
2012-12-29 22:58 2254把 sqlalchemy pool源代码copy下来,有空看看 ... -
SQLAlchemy简单介绍
2012-12-28 22:41 0文档参考:http://docs.sqlalchemy.org ... -
pymysql简单使用
2012-12-28 12:38 2125import pymysql conn = pymysq ...
相关推荐
pysolr是的轻量级Python客户端。 它提供了一个查询服务器的接口,并根据查询返回结果。 地位 特征 基本操作,例如选择,更新和删除。 索引优化。 支持(如果在Solr中设置)。 (如果在Solr中设置)。 超时支持...
例如,你可以使用Python的Solr客户端库(如`solrpy`或`pysolr`)来编写索引和查询的脚本。同时,Solr还支持SolrJ,这是一个专门的Java客户端API,方便Java开发者进行集成。 为了优化搜索体验,Solr提供了多种查询...
- **Solr客户端库**:如 pysolr,用于Python应用程序与Solr之间的交互,支持增删改查操作。 - **批量导入数据**:使用Solr的DataImportHandler或Python脚本批量导入结构化数据。 5. **Solr与C语言、STM32及小程序...
Solr提供了客户端库,简化了这个过程。以Java为例,我们可以使用SolrJ库来发送请求和处理响应: ```java SolrClient client = new HttpSolrClient("http://localhost:8983/solr/simple"); SolrQuery query = new ...
Solrcraft是针对Python开发者的Solr客户端库,它简化了Python程序与Solr服务器之间的通信过程。使用Solrcraft,开发者可以方便地进行索引构建、查询执行、文档添加、更新和删除等操作。该库的主要特性包括: 1. **...
3. **Java客户端代码**:可能是Java API的示例,展示了如何与Solr服务器进行交互,如添加、更新和删除文档,执行查询,或者处理结果。 4. **脚本**:可能包括用于自动化任务的shell脚本或Python脚本,如批量导入...
API模块提供了客户端访问接口等。 #### 5. Solr 的版本说明 - **1.3版本**:引入了数据导入功能。 - **1.4版本**:进一步增强了数据导入功能,并优化了性能。 #### 6. Solr 的分布式与复制架构 - **分布式架构**...
- 客户端库(如 Java、Python、Ruby 等)也可能会进行相应的更新,以支持新版本的功能。 7. **配置与索引优化**: - 用户可以利用新的配置选项来优化索引结构,比如使用近实时搜索(NRT)、位图压缩和其他高级...
你可以使用各种编程语言的客户端库与Solr交互,如Java、Python、PHP等。 **七、监控与优化** Solr提供了一个内置的监控界面,可以通过`http://localhost:8983/solr/admin`访问。这里可以查看索引状态、查询性能、...
- **示例代码**:可能包含Java或Python等语言的示例,展示了如何使用Solr API进行索引创建、文档添加、查询操作等。 - **jar包**:Solr的库文件,包括solr-jar和相关依赖,这些jar包是运行和开发Solr应用的基础。 ...
Solr提供了一个RESTful API,允许使用任何能够发送HTTP请求的工具(如curl或Python)进行索引数据、查询和管理操作。例如,使用`curl`向Solr发送JSON数据进行索引: ```bash curl -X POST -H 'Content-Type:...
- **服务器端集成**:Solr可以轻松地与其他服务器端技术集成,如Java、Python等。 - **客户端JavaScript集成**:通过RESTful API与前端JavaScript框架无缝对接。 - **框架集成**:支持与Drupal等流行CMS系统的集成,...
开发者可能利用了Python的文本处理库,如jieba(用于中文分词)和pysolr(用于Solr搜索引擎的Python客户端),以快速高效地搜索诗词。此外,为了提升用户体验,可能还涉及到了用户交互界面设计,比如使用tkinter或...
Solr是Apache Lucene项目的一个子项目,是一个高性能、全文本搜索服务器,...在使用Solrtest压缩包文件进行实践时,可以通过编写相应的Java或Python客户端代码来实现上述功能,从而更好地理解和掌握Solr的工作原理。
在Python代码中,你可以使用`sorl.client.Solr`类来创建一个客户端实例,如下所示: ```python from pysolr import Solr solr = Solr('http://localhost:8983/solr/your_core_name') ``` 这里,'...
如果BBS社区需要提供API供其他应用或移动客户端使用,Python的Flask或Django框架都有很好的支持。它们能够帮助我们构建遵循REST原则的API,实现数据的增删查改。 8. 前端技术: 虽然这里的重点是Python后端,但...
pysolr是Solr的Python客户端,它为Solr提供了一个简洁、易用的接口。Solr是Apache软件基金会的一个开源项目,是一款功能强大的全文搜索引擎,广泛用于构建高性能的搜索应用。pysolr库使得Python开发者能够轻松地与...
Haystack是一个用于构建、测试和维护全文搜索应用的Python库,它抽象了各种搜索引擎后端,如Elasticsearch、Solr、Whoosh等,使得开发者可以无需关心底层实现,专注于业务逻辑。`haystack-client`作为其客户端,...
它支持多种编程语言(如Java、Python、C#等),可以跨浏览器和平台进行测试。学习Selenium,你将了解如何编写测试脚本、执行自动化测试用例,以及如何利用其提供的各种API进行功能和回归测试。 2. **SQLServer**:...
例如,使用BeautifulSoup和PyQuery解析HTML,用NLTK或spaCy进行自然语言处理,以及使用Elasticsearch或Solr客户端库进行索引和查询操作。 六、人工智能在搜索引擎中的角色 现代搜索引擎不仅局限于关键词匹配,还...