论坛首页 → Java企业应用论坛 →

解析Txt文件的过程

浏览 12985 次
锁定老帖子 主题：解析Txt文件的过程
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
  • jvincent
  • 等级: 三星会员
  • 性别:
  • 文章: 211
  • 积分: 264
  • 来自: 北京
   发表时间：2007-11-05  
解析Txt文件的过程

项目需要解析用逗号(,)分隔的文本文件,然后将其中的数据转换成xml文件进行导入到财务系统中....
考虑到以后可能文件格式会变化,因此使用了动态的创建方法,即通过格式文件来动态解析txt文件..本程序使用了apache的Digester来动态生成格式文件,使用CGLib动态生成目标类.步骤如下:
1、定义文件和字段的元数据格式,如果出现其他的文件格式只需要实现元数据接口即可..接口代码:
java 代码
  1. public interface FileMeta {
  2. public String getName();
  3. public List<fieldmeta></fieldmeta> getFieldMeta();
  4. }
  6. public interface FieldMeta {
  7. public String getName();
  8. public String getType();
  9. public int getLength();
  10. public int getScale();
  11. public String getComment();
  12. public boolean isAllowNull();
  13. }
通过两个接口描述文件的属性已经字段格式..

本例使用的是逗号分隔,如果出现其他分隔符怎么办?为此,定义了一个分隔符接口:LineSpliter
java 代码
  1. public interface LineSpliter {
  2. public String getSpliterRegx();
  3. public String[] split(String lineData);
  4. }
getSpliterRegx()同于返回当前的分隔符,split()用户处理各行文本数据.
此处缺省实现了此接口,用于逗号分隔DefaultLineSpliter,定义如下:
java 代码
  1. public class DefaultLineSpliter implements {
  2. public String defaultSpliterRegx = ",";
  3. public String getSpliterRegx() {
  4. return defaultSpliterRegx ;
  5. }
  6. public String[] split(String lineData) {
  7. return StringUtils.splitPreserveAllTokens(lineData,defaultSpliterRegx );
  8. }
  9. }
这里使用apache的Lang包进行处理,没有使用JDK的String的split方法,因为jdk的实现会将末尾空的字段过滤掉,造成数据减少...
比如:如果行数据为aaa,bbb,,,,, 通过jdk的实现会返回aaa和bbb,而通过Lang包处理会返回包括后面空的字段.

2、接下来使用DigesterDigester包根据xml规则生成对象..
首先需要了解digester包的使用方法,这里简单的说一下:disgeter可以根据一定的规则将xml文件解析成一组对象...具体这里,我先定义
一个规则文件,
xml 代码
  1. <digester-rules>
  2. <pattern value='XXXFileMeta'>
  3. <object-create-rule classname="com.xxx.file.DefaultFileMeta"/>
  4. <set-properties-rule/>
  5. <pattern value="field">
  6. <object-create-rule classname="com.xxx.file.DefaultFieldMeta"/>
  7. <set-properties-rule/>
  8. <bean-property-setter-rule pattern="beanname1"/>
  9. <bean-property-setter-rule pattern="beanname2"/>
  10. <bean-property-setter-rule pattern="beanname3"/>
  11. <bean-property-setter-rule pattern="beanname4"/>
  12. <!---->pattern>
  13. <!---->digester-rules>
这就是一个简单的规则定义,具体含义这里不详细讲了,想了解的可以给我回帖...
接着定义缺省的文件元数据文件,格式如下:
xml 代码
 
  1. <DefaultFileMeta name="com.xxx.file.DefaultFileMeta">  
  2.     <field>  
  3.         <beanname1>Codebeanname1>  
  4.         <beanname2>Namebeanname2>  
  5.         <beanname3>Datebeanname3>  
  6.         <beanname4>Remakebeanname4>  
  7.     field>  
  8. DefaultFileMeta>  

最后实例化digester对象,加载规则文件,解析文件元数据文件,则会动态生成根据元数据文件解析的格式定义.

代码如下:GeneratorObject.createObject(){}
初始化CGLib
java 代码
  1. @SuppressWarnings("unchecked")
  2. private void init(Class target, FileMeta fileMeta) {
  4. List<fieldmeta></fieldmeta> fields = fileMeta.getFieldMeta();
  5. String[] getters = new String[fields.size()];
  6. String[] setters = new String[fields.size()];
  7. Class[] types = new Class[fields.size()];
  8. try {
  9. for (int i=0; i < fields.size(); i++) {
  10. FieldMeta fieldMeta = fields.get(i);
  11. getters[i] = "get" + ConverterUtils.upperCaseFirstChar(fieldMeta.getName());
  12. setters[i] = "set" + ConverterUtils.upperCaseFirstChar(fieldMeta.getName());
  13. types[i] = Class.forName(fieldMeta.getType());
  14. }
  15. } catch(ClassNotFoundException e) {
  16. logger.error("类没有找到.." + e.getMessage());
  17. }
  19. this.bulkBean = BulkBean.create(target, getters, setters, types);
  20. }
根据指定的目标类动态生成对象
java 代码
  1. @SuppressWarnings("unchecked")
  2. private Object createObject(Class target, FileMeta fileMeta, Object[] values) {
  3. Object targetObject = null;
  4. try {
  5. targetObject = target.newInstance();
  6. } catch (Exception e){
  7. logger.error("创建对象出错,目标类-->" + target.getName(), e);
  8. }
  9. bulkBean.setPropertyValues(targetObject, values);
  10. return targetObject;
  11. }
解析文本文件
java 代码
  1. @SuppressWarnings("unchecked")
  2. public List createObjects() {
  3. //初始化BulkBean
  4. init(targetClass, fileMeta);
  5. List result = new ArrayList();
  6. LineIterator iterator = null;
  7. try {
  8. iterator = FileUtils.lineIterator(this.dataFile, DEF_ENCODING);
  9. while(iterator.hasNext()) {
  10. String line = iterator.nextLine();
  11. //过滤掉数据文件中的空行
  12. if (StringUtils.isBlank(line)) {
  13. continue;
  14. }
  15. Object[] values = this.parseLine(line, fileMeta);
  16. Object object = createObject(this.targetClass, fileMeta, values);
  17. result.add(object);
  18. }
  19. } catch (IOException e) {
  20. logger.error("读取文件名出错!-->" + this.dataFile.getName(), e);
  21. } finally {
  22. LineIterator.closeQuietly(iterator);
  23. }
  24. return result;
  25. }
最终返回解析好的文本文件对象列表..
本例综合使用了apache的代码包,灵活实现了文本文件的解析...
返回顶楼
         
  • ldjsyl
  • 等级: 初级会员
  • 性别:
  • 文章: 26
  • 积分: 0
  • 来自: 成都
   发表时间：2007-11-05  
disgeter包，这个包是什么啊？百度和google都没搜到
返回顶楼
          回帖地址
0 请登录后投票
  • raindew
  • 等级: 初级会员
  • 性别:
  • 文章: 5
  • 积分: 30
  • 来自: 北京
   发表时间：2007-11-05  
楼主笔误,应该是Digester吧.呵呵.
返回顶楼
          回帖地址
0 请登录后投票
  • coolnight
  • 等级: 二星会员
  • 文章: 68
  • 积分: 180
   发表时间：2007-11-06  

呃 有没有搞错 这么简单的任务 写了这么多代码
返回顶楼
          回帖地址
0 请登录后投票
  • jvincent
  • 等级: 三星会员
  • 性别:
  • 文章: 211
  • 积分: 264
  • 来自: 北京
   发表时间：2007-11-06  

[quote="coolnight"] 呃 有没有搞错 这么简单的任务 写了这么多代码 [/quote]

主要是为了解决文件格式的变化给系统带来的麻烦...如果针对每种格式文本文件都实现一个解析方法，难道不怕麻烦吗??
返回顶楼
          回帖地址
0 请登录后投票
  • kusix
  • 等级: 初级会员
  • 文章: 406
  • 积分: 86
   发表时间：2007-11-06  
从LZ这学到一招了，Digester，不错，回去试试

以前不想自己写配置文件的解析，都是拿spring来做的。

现在也在做这方面的东西，

感觉TXT如果只是分割符变化了，还比较好对付，

但是如果是格式彻底变了呢，比如行列的位置都变换了，

你抽象的这个构架该怎么对付呢？
返回顶楼
          回帖地址
0 请登录后投票
  • Tom是只猫
  • 等级: 初级会员
  • 性别:
  • 文章: 14
  • 积分: 50
  • 来自: 上海
   发表时间：2007-11-06  
Digester解析XMl用的
返回顶楼
          回帖地址
0 请登录后投票
  • jvincent
  • 等级: 三星会员
  • 性别:
  • 文章: 211
  • 积分: 264
  • 来自: 北京
   发表时间：2007-11-06  
[quote="kusix"]从LZ这学到一招了，Digester，不错，回去试试 以前不想自己写配置文件的解析，都是拿spring来做的。 现在也在做这方面的东西， 感觉TXT如果只是分割符变化了，还比较好对付， 但是如果是格式彻底变了呢，比如行列的位置都变换了， 你抽象的这个构架该怎么对付呢？[/quote]

如果行列的位置变了,只需要在xml配置文件里面调整一下顺序就可以了...这也是digester的主要作用,动态生成格式文件...
返回顶楼
          回帖地址
0 请登录后投票
  • kusix
  • 等级: 初级会员
  • 文章: 406
  • 积分: 86
   发表时间：2007-11-07  
试了一下digester，找了半天，没发现怎么调用Map的put方法，

也就是说，<set-next-rule methodname="add"/>

这个标签，只能调用参数数目是1的方法，怎么才能调用1个以上参数的方法呢？

call-method-rule 貌似只能调用自身的方法，无法调用父亲的方法

返回顶楼
          回帖地址
0 请登录后投票
  • kusix
  • 等级: 初级会员
  • 文章: 406
  • 积分: 86
   发表时间：2007-11-07  
非的把对象搞成 
public void addDict(Dict dict) {
		dictMap.put(dict.getDictName(),dict);
	}


这样的，才行，感觉很别扭。
返回顶楼
          回帖地址
0 请登录后投票
论坛首页 → Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics