- 浏览: 2196163 次
- 性别:
- 来自: 北京
-
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
上篇,散仙讲了使用ant打包整个项目的方式,那样打包项目的总体大小,可能会变得非常臃肿,这样以来,整个jar包变得非常大,所以我们应该按需所取,灵活配置。
具体的思路就是,在打包时,配置ant的build.xml的脚本仅仅编译拷贝class,而不需要拷贝所用的jar包,或者一些其他的配置文件,比如xml或者一些log4j的文件,然后再启动时候,我们可以使用java -cp 把需要的jar包路径和配置文件的路径传进去,这样就比较灵活了,然后整个项目的jar包,会变得非常精简,
本次散仙的例子是打包一个有依赖lucene的分词器然后,并使用了log4j文件记录,注意,后面真正的运行时候,依赖的jar,log4j的包,还有一些配置文件,比如log4j等,会通过一个脚本动态的传参进去。
项目截图如下:
log4j的配置如下所示:
build.xml的配置
编写完成后,传到linux上,然后写个shell脚本,动态传入一些jar的路径和配置文件,例如log4j等,在linux上的目录执行ant后如下所示
然后我们的脚本里面如何定义的,因为我们的myjob.jar里面没有任何有关依赖的jar包,和conf配置文件,所以需要在启动时,使用cp命令动态传入,脚本如下所示:
执行效果如下所示:
而且,我们可以改动conf里面的log4j文件,再次启动时,会立刻生效,比如散仙打开了stdout控制台输出信息:
这样以来,我们的配置就非常灵活,任何依赖的jar包和配置文件,都可以放在项目以外的位置,不提供强依赖,必要时候,可以使用-cp加载。
最后需要注意的是,在linux上配置环境变量,注意export的方式:
具体的思路就是,在打包时,配置ant的build.xml的脚本仅仅编译拷贝class,而不需要拷贝所用的jar包,或者一些其他的配置文件,比如xml或者一些log4j的文件,然后再启动时候,我们可以使用java -cp 把需要的jar包路径和配置文件的路径传进去,这样就比较灵活了,然后整个项目的jar包,会变得非常精简,
本次散仙的例子是打包一个有依赖lucene的分词器然后,并使用了log4j文件记录,注意,后面真正的运行时候,依赖的jar,log4j的包,还有一些配置文件,比如log4j等,会通过一个脚本动态的传参进去。
项目截图如下:

log4j的配置如下所示:
log4j.rootCategory=INFO,fileout,errorout,stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout.ConversionPattern=%d{MM-dd HH\:mm\:ss.SSS}[%-30F\:%-5p\:%l] %m%n log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.fileout=org.apache.log4j.DailyRollingFileAppender log4j.appender.fileout.layout.ConversionPattern=%d{MM-dd HH\:mm\:ss.SSS}[%-5p] %m%n log4j.appender.fileout.layout=org.apache.log4j.PatternLayout log4j.appender.fileout.File=index_log log4j.appender.fileout.Append=true log4j.appender.fileout.DatePattern='.'yyyy-MM-dd log4j.appender.errorout=org.apache.log4j.RollingFileAppender log4j.appender.errorout.Threshold=ERROR log4j.appender.errorout.File=error_log log4j.appender.errorout.MaxFileSize=100000KB log4j.appender.errorout.MaxBackupIndex=10 log4j.appender.errorout.Append=true log4j.appender.errorout.layout=org.apache.log4j.PatternLayout log4j.appender.errorout.layout.ConversionPattern=%d{MM-dd HH\:mm\:ss.SSS}[%-30F\:%-5p\:%l] %m%n
build.xml的配置
<project name="${component.name}" basedir="." default="jar"> <!-- 引入环境变量 --> <property environment="env"/> <!-- --> <!-- 配置lucene的home地址,编译时用到,注意写法 --> <property name="lucene.home" value="${env.LUCENE_HOME}"/> <!-- 打印调试信息 --> <echo message="java的home是${env.LUCENE_HOME}"> </echo> <!-- 指定jar包的名字 --> <property name="jar.name" value="myjob.jar"/> <!-- 编译源码时需要依赖的jar包 --> <path id="project.classpath" > <fileset dir="lib"> <include name="*.jar"/> </fileset> <fileset dir="${lucene.home}"> <include name="*.jar"/> </fileset> </path> <!-- 编译前清空上次的bin文件 --> <target name="clean"> <delete dir="bin" failonerror="false"></delete> <mkdir dir="bin"/> </target> <!-- 构建编译源码 一般为固定写法 --> <target name="build" depends="clean"> <echo message="${ant.project.name}: ${ant.file}" ></echo> <javac destdir="bin" encoding="utf-8" debug="true" includeantruntime="false" debuglevel="lines,vars,source"> <src path="src"/> <exclude name="**/.svn" /> <classpath refid="project.classpath"/> </javac> <copy todir="bin"> <fileset dir="src"> <include name="*config*"/> </fileset> </copy> </target> <!-- 打包的jar --> <target name="jar" depends="build"> <!-- 这里是精简版的配置,如果需要,可以在这里面配置拷贝依赖的jar到lib目录里 --> <!-- <copy todir="bin/lib"> <fileset dir="lib"> <include name="**/*.*"/> </fileset> </copy> --> <jar basedir="bin" destfile="${jar.name}"> <include name="**/*" /> </jar> </target> </project>
编写完成后,传到linux上,然后写个shell脚本,动态传入一些jar的路径和配置文件,例如log4j等,在linux上的目录执行ant后如下所示
[search@fsedump03sand LuceneDemo]$ ant Buildfile: /home/search/LuceneDemo/build.xml [echo] hadoop的home是/home/search/hadoop [echo] java的home是/home/search/lucenedemo/lib/lucenelib/ clean: [delete] Deleting directory /home/search/LuceneDemo/bin [mkdir] Created dir: /home/search/LuceneDemo/bin buildwithout: [echo] ${component.name}: /home/search/LuceneDemo/build.xml [javac] Compiling 7 source files to /home/search/LuceneDemo/bin [javac] Note: /home/search/LuceneDemo/src/com/study/lucene/TestAnalysis.java uses or overrides a deprecated API. [javac] Note: Recompile with -Xlint:deprecation for details. jarwithout: [jar] Building jar: /home/search/LuceneDemo/myjob.jar BUILD SUCCESSFUL Total time: 1 second [search@fsedump03sand LuceneDemo]$ ll total 44 drwxrwxr-x 3 search search 4096 Nov 13 18:01 bin -rw-rw-r-- 1 search search 3514 Nov 13 15:30 build.xml drwxrwxr-x 2 search search 4096 Nov 13 15:45 conf -rw-rw-r-- 1 search search 256 Nov 13 15:45 error_log -rw-rw-r-- 1 search search 1628 Nov 13 15:45 index_log drwxrwxr-x 2 search search 4096 Nov 13 15:36 lib -rw-rw-r-- 1 search search 10407 Nov 13 18:01 myjob.jar -rw-rw-r-- 1 search search 364 Nov 13 15:43 sme.sh drwxrwxr-x 3 search search 4096 Nov 13 15:31 src [search@fsedump03sand LuceneDemo]$
然后我们的脚本里面如何定义的,因为我们的myjob.jar里面没有任何有关依赖的jar包,和conf配置文件,所以需要在启动时,使用cp命令动态传入,脚本如下所示:
[search@fsedump03sand LuceneDemo]$ cat sme.sh #定义根路径 cs='.:' cdir=`pwd` #echo $cdir #libpath="$cdir/lucenedemo/lib/lucenelib/" #依赖的jar包 libpath="/home/search/lucenedemo/lib/lucenelib/" #echo $libpath #获取依赖jar的目录,本例只有一个依赖jar, #如果有多个,可以都拼接上即可 FILES=`ls $libpath` for txt in $FILES;do cs=$cs$libpath$txt: #注意最后有个冒号拼接jar done #echo $cs #配置文件的目录 conf="conf:" #自身的jar,注意$cs命令一定要放在首位 cs=$cs$conf"myjob.jar" #echo $cs java -Xms128m -Xmx1024m -cp $cs com.study.lucene.TestAnalysis $1 [search@fsedump03sand LuceneDemo]$
执行效果如下所示:
[search@fsedump03sand LuceneDemo]$ sh sme.sh 你 没 有 输 入 任 何 内 容 [search@fsedump03sand LuceneDemo]$
容 [search@fsedump03sand LuceneDemo]$ sh sme.sh bbc bbc [search@fsedump03sand LuceneDemo]$
而且,我们可以改动conf里面的log4j文件,再次启动时,会立刻生效,比如散仙打开了stdout控制台输出信息:
[search@fsedump03sand LuceneDemo]$ sh sme.sh 11-13 18:25:27.784[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc你 11-13 18:25:27.789[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前你 你 11-13 18:25:27.790[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc没 11-13 18:25:27.791[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前没 没 11-13 18:25:27.792[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc有 11-13 18:25:27.793[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前有 有 11-13 18:25:27.794[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc输 11-13 18:25:27.795[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前输 输 11-13 18:25:27.796[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc入 11-13 18:25:27.797[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前入 入 11-13 18:25:27.798[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc任 11-13 18:25:27.799[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前任 任 11-13 18:25:27.800[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc何 11-13 18:25:27.801[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前何 何 11-13 18:25:27.802[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc内 11-13 18:25:27.803[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前内 内 11-13 18:25:27.804[TestAnalysis.java :WARN :com.study.lucene.TestAnalysis.main(TestAnalysis.java:41)] abc容 11-13 18:25:27.805[TestAnalysis.java :INFO :com.study.lucene.TestAnalysis.main(TestAnalysis.java:42)] 当前容 容 11-13 18:25:27.806[TestAnalysis.java :ERROR:com.study.lucene.TestAnalysis.main(TestAnalysis.java:46)] erro人错误 [search@fsedump03sand LuceneDemo]$
这样以来,我们的配置就非常灵活,任何依赖的jar包和配置文件,都可以放在项目以外的位置,不提供强依赖,必要时候,可以使用-cp加载。
最后需要注意的是,在linux上配置环境变量,注意export的方式:
HADOOP_HOME=/home/search/hadoop PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin export PATH export LUCENE_HOME=/home/search/lucenedemo/lib/lucenelib/ PATH=$PATH:$LUCENE_HOME export PATH
发表评论
-
记一次log4j不打印日志的踩坑记
2019-09-22 01:58 1610### 起因 前几天一个跑有java应用的生产集群(200多 ... -
在Java里面如何解决进退两难的jar包冲突问题?
2019-07-23 19:10 1270如上图所示: es api组件依赖guava18.0 ... -
如何轻松理解二叉树的深度遍历策略
2019-07-03 23:33 1171我们知道普通的线性数据结构如链表,数组等,遍历方式单一 ... -
为什么单线程Redis性能也很出色
2019-01-21 18:02 2237高性能的服务器,不一 ... -
如何将编程语言里面的字符串转成数字?
2019-01-11 23:23 2133将字符串转成数字在很 ... -
为什么Java里面String类是不可变的
2019-01-06 18:36 1699在Java里面String类型是不可变对象,这一点毫无疑问,那 ... -
关于Java里面volatile关键字的重排序
2019-01-04 18:49 1097Java里面volatile关键字主 ... -
多个线程如何轮流打印ABC特定的次数?
2018-12-11 20:42 6079之前的一篇文章,我给 ... -
聊聊Java里面的引用传递
2018-11-16 21:21 999长久以来,在Java语言里面一直有一个争论,就是Java语言到 ... -
理解计数排序算法的原理和实现
2018-10-11 10:03 2101计数排序(Counting sort) ... -
理解Java7和8里面HashMap+ConcurrentHashMap的扩容策略
2018-09-06 11:31 3398### 前言 理解HashMap和Con ... -
关于Java里面多线程同步的一些知识
2018-07-18 09:45 1115# 关于Java里面多线程同步的一些知识 对于任何Java开 ... -
Java单例模式之双检锁深入思考
2018-07-08 12:25 3303# Java单例模式之双检锁 ... -
关于Java里面多线程同步的一些知识
2018-07-08 12:23 1130# 关于Java里面多线程同步的一些知识 对于任何Java开 ... -
重新认识同步与异步,阻塞和非阻塞的概念
2018-07-06 14:30 1482# 重新认识同步与异步 ... -
线程的基本知识总结
2018-06-27 16:27 1069### (一)创建线程的方式 (1)实现Runnable接口 ... -
Java里面volatile关键字修饰引用变量的陷阱
2018-06-25 11:42 1398# Java里面volatile关键字修饰引用变量的陷阱 如 ... -
关于Java里面的字符串拼接,你了解多少?
2018-06-25 11:28 1384# 关于Java里面的字符串 ... -
深入理解Java内存模型的语义
2018-06-25 11:39 750### 前言 Java内存模型( ... -
如何证明Java多线程中的成员变量数据是互不可见的
2018-06-21 10:09 1520前面的几篇文章主要介绍了Java的内存模型,进程和线程的定义, ...
相关推荐
`ant-nodeps-1.6.2.jar`是Apache Ant的一个特定版本(1.6.2)的精简版,不包含外部依赖,使得在某些环境中部署和执行更加便捷。 "jar"标签表明了这个文件是Java Archive格式。JAR文件是一种用于存储Java类文件、...
从标签“源码”和“工具”来看,这篇博文中可能还会介绍一些实用的工具或脚本,帮助开发者自动化执行上述任务,比如使用JAR工具、Ant、Ivy、Gradle或Maven的插件,以及各种代码混淆和优化工具。 至于“cache”这个...
3. ant-nodeps.jar - 这个文件可能是Ant的精简版本,不包含所有依赖,便于轻量级使用或减少依赖冲突。 4. ant-launcher.jar - 这是Ant的启动器,负责启动Ant进程。它通常包含了运行Ant任务所需的最小组件。 综上所...
- `mvn package`:打包项目,生成最终的JAR或WAR文件。 - `mvn install`:将打包后的文件安装到本地仓库,供其他项目引用。 - `mvn site`:生成项目网站文档。 - `mvn clean`:清理构建输出。 **IDE集成**: - ...
其中,`groupId`对应于项目所属的组织,如`org.springframework`,而`artifactId`则是项目的核心JAR包名称。 #### Maven2的生命周期与常用命令 Maven2的生命周期包括一系列阶段,如`compile`、`test`、`package`、...