qindongliang1922
- 浏览: 2195727 次
- 性别:
- 来自: 北京
-
最新评论
-
qindongliang1922：
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu：
不太理解“分词字段存储docvalue是没有意义的”，这句话， ...
浅谈Lucene中的DocValues -
yin_bp：
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的？ -
hackWang：
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana：
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
文章列表
资源调度器是Hadoop集群中一个比较重要的模块，最初的hadoop资源调度器是基于队列形式的FIFO调度的，这种模式在大规模集群的时候，资源分配并不是很合理，比如一个后提交的任务，但想要它先执行怎么办，而在FIFO模式下，只 ...
散仙上篇博客，介绍了Hadoop基于单机模式下的伪分布式的部署，那么今天我们来看下Hadoop完全分布式的部署，其实只要伪分布式部署的会了，那么完全分布式的相对来说就很简单了，只要我们在一台机器上部署好，然后远程拷贝给其他的子节点就可以了。
散仙用的是Centos6.4的版本，hadoop1.2.1的版本，其他的一些linux系统都是大同小异，关于SSH的配置及一些准备工作,在这里就不多说了，不会的可以参照散仙的上两篇博客进行配置
下面进入正题，散仙总共使用3个节点来部署完全分布式集群，下面是机器的ip地址，以及机器名
IP地址节点名10.2.143.5Master10.2.143.36S ...
arch 显示机器的处理器架构(1)
uname -m 显示机器的处理器架构(2)
uname -r 显示正在使用的内核版本
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)
hdparm -i /dev/hda 罗列一个磁盘的架构特性
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作
cat /proc/cpuinfo 显示CPU info的信息
cat /proc/interrupts 显示中断
cat /proc/meminfo 校验内存使用
cat /proc/swaps 显示哪些swap被使用
cat /proc/version 显示内核 ...
今天做一个业务时，结果由于跟权重有关，Java默认显示保留的是15位小数，所以客户要求保留3位小数，其实这个需求很简单，前台，后台都可以完成这个任务，但是为了系统的性能考虑，这种工作，能用前台完成就用前台完成吧，尽量用客户端分担服务器的压力，尤其是在高并发的场景下，任何一个细节都有可能影响整体的性能，进而并发数量越大，这个细节就会有可能扩大成致命的问题。
好了，不说废话了，进入正题，这个保留小数位的做法，JS可以有很多种实现方法，网上一搜又是一大堆循环截取，又是下载第三方插件js完成，其实都可以，但是没必要那么麻烦，截取出来的小数位没有四舍五入的功能，所以也被放弃了，最后直接使用Math这个函 ...
基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了
新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop ...
上一篇博客，散仙详细的描述了SSH的无验证登陆方式，但会发现命令流程还是有点复杂的，那么有没有一种简单，快捷的方式来搞定呢？答案是肯定的。
上篇我们在远程拷贝公钥文件时，用的是scp的方式，先把公钥从原机拷贝到 ...
配置SSH无登陆验证，在很多场景下是非常方便的，尤其是在管理大型集群服务时，避免了繁琐的密码验证，在安全级别越高的服务器上，通常密码的设置更复杂，配置SSH，不仅可以用密钥保证节点间通信的安全性，同时也降低了频繁输入密码登陆的耗时，大大提高了管理效率。散仙写此篇文章，也是给准备入手Hadoop的道友们先做好一个基础的准备，当然你也可以不配置SSH，只要你愿意频繁输入Slave节点的密码来登陆。
1. SSH无密码验证的原理
Master作为客户端，要实现无密码公钥认证，连接到服务器Salve上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Salve ...
hadoop日志系统中的日志收集模块，在如今比较流行的以及开源具有代表性的有facebook的scribe，apache的chukwa，linkedin的kafka，以及非常优秀的cloudrea的flume，在1.x的hadoop生态系统中，flume比较适合做日志收集模块，因为其功能全面，且具有高扩展性，高稳定性，高可靠性，以及便于管理和维护。
在1.xhadoop生态系统中，HDFS分布式文件存储系统，和Hbase分布式面向列的数据库，适合存储海量日志信息，HDFS，因为具有良好的扩展性，高容错性，高可靠性，所以适合海量日志信息的存储，Hbase因具有高可靠性，高性能，面向列以及良好的 ...
莫名其妙的出了个SQL server的连接异常
java.sql.SQLException: I/O Error: SSO Failed: Native SSPI library not loaded. Check the java.library.path system property.
at net.sourceforge.jtds.jdbc.TdsCore.login(TdsCore.java:611)
at net.sourceforge.jtds.jdbc.ConnectionJDBC2.<init>(ConnectionJDBC2.java:331)
...
转载请注明，原创地址，谢谢配合!
http://qindongliang1922.iteye.com/blog/1953409
高亮功能一直都是全文检索的一项非常优秀的模块，在一个标准的搜索引擎中，高亮的返回命中结果，几乎是必不可少的一项需求，因为通过高亮，我们可以在我们的搜索界面上快速标记出用户的检索关键词，从而减少了用户自己寻找想要的结果，在一定程度上大大提高了用户的体验性和友好度。
那么，散仙今天就来看下我们在Lucene中，怎么实现高亮，以及高亮的几种实现方式。
首先散仙还是喜欢老生常谈的来补充下高亮需要的熟悉的基本知识，当然如果你只是需要实现效果，而不关注它的底层API， ...
1只是给人打工，薪水再高也高不到哪儿去。所以在三十岁之前，机会远比金钱重要，事业远比金钱重要，将来远比金钱重要。对大多数人来说，三十岁之前干事业的首要目标绝不是挣钱，而是挣未来。 2包括感情上的，事业上的 ...
在Java中，解析Access一般来说有2种方式，第一种用JDBC-ODBC桥接的方式解析，第二种用纯JDBC的方式解析。
关于用JDBC-ODBC这种方式的解析，散仙在这里就不在演示了，网上搜一下，一大堆都是关于桥接的，今天着重说一下第二种方式，使用JDBC连接Access，这样来做，既可以保证操作平台的一致性，也避免了，让用户去配置数据源的一些底层工作，而且也大大提高了程序的灵活性。
写这篇文章最重要的目的就是给大家一个正确的解析方式包括兼容03的mdb以及07的accdb数据库文件，因为网上搜的真正关于纯JDBC解析Access的代码，大部分都是转来转去，而且代码好多都不能用，最重要的是 ...
linux下解压命令大全
.tar
解包：tar xvf FileName.tar
打包：tar cvf FileName.tar DirName
（注：tar是打包，不是压缩！）
———————————————
.gz
解压1：gunzip FileName.gz
解压2：gzip -d FileName.gz
压缩：gzip FileName
.tar.gz 和 .tgz
解压：tar zxvf FileName.tar.gz
压缩：tar zcvf FileName.tar.gz DirName
———————————————
.bz2
解压1：bzip2 -d FileName.bz ...
转载请注明原创地址:
http://qindongliang1922.iteye.com/blog/1942030
今天散仙要写的是关于Lucene里面Collector这个东西，暂且称它为收集器吧，先来看下Lucene内置Collector类的继承图。
我们先来回顾下，一个基本的搜索流程是怎么完成的
1，得到一个索引目录Directory(可能基于内存的或者磁盘的)。
2，得到一个DirectoryReader。
3，实例化查询组件IndexSearcher。
4，检索得到TopDoc查询结果集
5,遍历ScoresDocs处理结果
我们看下这个检索的流程，大概可以分这5 ...
明天，持续更新Lucene系列博文,欢迎收看!
Lucene群交流:324714439
下面进入正题
最近客户提了个新的需求，需要我们的程序支持如下几种文件的解析
编号文件格式1XML2Excel3Access4DBF5MDB
可能有些朋友，不知道DBF这种格式的文件是什么东西，在这之前，散仙，先小小科普下这种古董级的数据库格式,来看下百度百科是怎么介绍的。
一种特殊的文件格式！表示数据库文件，Foxbase,Dbase,Visual FoxPro,等数据库处理系统所产生的数据库文件!
DBF 数据库可以分为 dBase III 、foxpro 格式两类。
DB ...