k_lb

浏览: 856212 次
性别:
来自: 郑州

最近访客更多访客>>

u012363178

rattersnake

LuffyMother

uclnn

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

SAX 实现“增量文件”

SAX 实现“增量文件”

(wang hailong)

本文假设您对XML，DOM，SAX等“词儿”比较熟悉。J

本文所举的例子都用Java语言，但原理相通，同样适用于C++和C#。

1．XML格式的“增量文件”

我们知道，编程打开文件的方式有几种，read，write，append，等等。Append方式打开的文件就可以称为“增量”文件，新的内容可以被增加到文件的末尾。Log日志文件的纪录，基本都是采取这种方式。“增量文件”的一种重要应用就是Log日志文件。我们不用考虑文件里面“已有”的内容，只要简单地添加，添加。

对于复杂的情况，Append方式就不够用了。如果我们在Log日志文件用到了格式处理，(如HTML格式，XML格式)，这时，就不能把新的内容简单地添加到文件的末尾，我们必须考虑文件里面“已有”的内容，把新的内容放在合适的位置。比如，Log日志文件采用HTML格式，我们至少需要把新的内容放在放在<html><body>和</body></html>标签的中间，甚至应该放在<table>和</table>等标签的中间。我们要保证文件格式的正确，信息位置的正确。

本文提到的格式信息，结构信息，特指XML格式。文中讨论的“增量文件” 特指XML格式的“增量文件”。本文旨在说明解析、操作XML格式“增量文件”的方法。

2．XML数据的处理方法

2．1 XML Database

如果你需要对文件数据进行功能完善的管理，添加，删除，查询，比较等等，请考虑使用XML Database，请参考一些Open Source Project，比如Apache XIndice。

2．2 DOM + XPath

解析文件，生成DOM Tree，对DOM Tree的节点进行添加操作。可以和XPath进行配合使用，比如，想一步定位到目标节点，”HTML/BODY//TABLE[position()=last()]”，定位到HTML文件的最后一个table，把需要添加的栏目加到这个table中。

关于XPath的使用，可以参考Apache Xalan的例子，关于XPathAPI的例子。

优点：概念清晰，结构良好，代码易读。

缺点：占用较多的时间和空间，使用XPath反复搜索DOM Tree的情况尤其如此。

2．3 SAX + Filter<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

解析文件，产生SAX事件，处理SAX事件。SAX以Pipeline管道方式运作，可以在Pipeline管道上加入一些Filter，进行链式处理，前一步SAX事件的处理结果，成为下一步的SAX事件。

缺点：SAX的概念不如DOM直观，代码的易读性不如DOM，结果只能一遍生成，不能反复搜索。SAX编程的结构性通常不如DOM。

优点：SAX的编程难度并不比DOM高，需要的编码量甚至常常少于DOM的编码量。SAX快速，占用空间很少。

2．4 XML-Object Binding

XML数据和Java对象进行绑定。把XML元素映射为一个Java对象，XML元素的属性或子元素映射为Java对象的成员变量。

相关的Open Source Project : Sun Jaxb; Castor. 等等。

绑定方式分为静态绑定和动态绑定。动态绑定比较灵活，但速度比较慢。本文倾向于静态绑定，后面主要讲静态绑定的特性。

静态绑定的过程：编写XML Schema文件；用代码生成工具处理XML Schema文件，自动生成java类；使用自动生成的java类的对象，相当于直接操作XML数据。

优点：这种方法的编程难度最小，代码的结构化最好。速度比DOM快（快的有限），空间比DOM小（小的有限），和DOM一样，生成结果树，能够反复搜索查找。

缺点：速度比SAX慢，占空间比SAX大。当文档结构复杂到一定程度，自动生成的代码成为一个负担。

2．5 关于Apache Project的其它参考

http://xml.apache.org 核心为 Apache Xerces和Apache Xalan.

http://jakarta.apache.org/commons/digester.html (small size) Digester : XML-Object动态绑定。

http://jakarta.apache.org/commons/jxpath/index.html JXPath : 使用XPath操作Java层级对象。

3．SAX实现“增量文件”

现在切入正题。SAX的时间和空间效率最高，本文主要讨论这种方法。

SAX的核心接口是ContentHandler接口，ContentHandler接受SAX事件，进行处理。

我们现在面对的问题是文件操作，首先需要的是一个能够把SAX事件写到文件里面的ContentHandler。这个类对于我们的问题非常重要。

Apache Xerces和Apache Xalan提供了一些XML的Serializer类，提供了一些XML的Filter类，还实现了transform包里面的Source和Result接口。合理地把这些类组装成起来，就可以实现一个灵活的处理管道。

因为本文对应的问题很小，不必要引入这样的复杂度。ContentHandler接口并不是很复杂，而且有这么多的开放源代码可以参考，我们自己来实现一个最简单的SAXWriter类，用来把SAX事件写到一个文件里面。下面的代码是从Apache Xerces的代码中抽取出来，实现最简化的功能。

3．1 SAXWriter的代码

package example;

import org.xml.sax.SAXException;

import org.xml.sax.Attributes;

import org.xml.sax.ContentHandler;

import org.xml.sax.helpers.DefaultHandler;

import java.io.OutputStreamWriter;

import java.io.PrintWriter;

import java.io.Writer;

import java.io.OutputStream;

import java.io.IOException;

import java.io.UnsupportedEncodingException;

public class SAXWriter extends DefaultHandler{

public SAXWriter() {

}

/** Print writer. */

protected PrintWriter printWriter;

/** Sets the output stream for printing. */

public void setOutput(OutputStream stream, String encoding)

throws UnsupportedEncodingException {

if (encoding == null) {

encoding = "UTF8";

}

java.io.Writer writer = new OutputStreamWriter(stream, encoding);

printWriter = new PrintWriter(writer);

} // setOutput(OutputStream,String)

/** Sets the output writer. */

public void setOutput(java.io.Writer writer) {

printWriter = writer instanceof PrintWriter

? (PrintWriter) writer : new PrintWriter(writer);

} // setOutput(java.io.Writer)

// ContentHandler methods

/** Start element. */

public void startElement(String uri, String local, String raw,

Attributes attrs) throws SAXException {

printWriter.print('<');

printWriter.print(raw);

if (attrs != null) {

int len = attrs.getLength();

for (int i = 0; i < len; i++) {

printWriter.print(' ');

printWriter.print(attrs.getQName(i));

printWriter.print("=/"");

printWriter.print(attrs.getValue(i));

printWriter.print('"');

}

printWriter.print('>');

printWriter.flush();

} // startElement(String,String,String,Attributes)

/** End element. */

public void endElement(String uri, String local, String raw) throws

SAXException {

printWriter.print("</");

printWriter.print(raw);

printWriter.print('>');

printWriter.flush();

} // endElement(String)

/** Characters. */

public void characters(char ch[], int start, int length) throws SAXException {

printWriter.write(ch, start, length);

printWriter.flush();

} // characters(char[],int,int);

/** Ignorable whitespace. */

public void ignorableWhitespace(char ch[], int start, int length) throws

SAXException {

characters(ch, start, length);

printWriter.flush();

} // ignorableWhitespace(char[],int,int);

}

下面扩展这个类。

3．2 ContentAppender的源代码

package example;

import org.xml.sax.SAXException;

import org.xml.sax.Attributes;

import org.xml.sax.ContentHandler;

import org.xml.sax.helpers.DefaultHandler;

public class ContentAppender extends SAXWriter{

String root = null;

String message = null;

public ContentAppender(){

}

public void appendMessage(String message){

this.message = message;

}

/** Start element. */

public void startElement(String uri, String local, String raw, Attributes attrs)

throws SAXException {

if(root == null){ // record the root element

root = raw;

}

super.startElement(uri, local, raw, attrs);

}

/** End element. */

public void endElement(String uri, String local, String raw) throws SAXException {

if(message != null && raw.equals(root)){ // if it is the end of root element

super.startElement("", "message", "message", null);

printWriter.print(message);

super.endElement("", "message", "message");

printWriter.println();

}

super.endElement(uri, local, raw);

}

扩展SAXWriter，我们可以把新添加的内容放置在任何一个元素里面。ContentAppender类把新添加的内容加在根元素的最后一个节点。

3．3 主函数

package example;

// java

import java.io.File;

import java.io.InputStream;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.FileNotFoundException;

import java.io.UnsupportedEncodingException;

// org.xml

// Imported SAX classes

import org.xml.sax.InputSource;

import org.xml.sax.SAXException;

import org.xml.sax.helpers.ParserAdapter;

import org.xml.sax.helpers.XMLReaderFactory;

import org.xml.sax.helpers.XMLFilterImpl;

import org.xml.sax.XMLReader;

import org.xml.sax.XMLFilter;

import org.xml.sax.ContentHandler;

// Imported Serializer classes

import org.apache.xalan.serialize.Serializer;

import org.apache.xalan.serialize.SerializerFactory;

import org.apache.xalan.templates.OutputProperties;

public class IncrementalWriter {

public void process(String logFile, String newMessage) throws Exception{

String newFileName = logFile + ".new";

// Create an XMLReader.

XMLReader reader =

XMLReaderFactory.createXMLReader ("org.apache.xerces.parsers.SAXParser") ;

ContentAppender handler = new ContentAppender();

FileOutputStream fo = new FileOutputStream(newFileName);

handler.setOutput(fo, null);

handler.appendMessage(newMessage);

reader.setContentHandler(handler);

reader.parse(logFile);

fo.close();

// delete old file and rename new file to log file.

File oldFile = new File(logFile);

oldFile.delete();

File newFile = new File(newFileName);

newFile.renameTo(new File(logFile));

}

// for example, a.xml is as below

// <root>

// <message>old message</message>

// <root>

public static void main(String[] args) throws Exception{

IncrementalWriter tester = new IncrementalWriter();

tester.process("a.xml", "hello"); // append “hello” to a.xml file.

}

这三个文件很简单。Jdk1.4下编译通过。执行的结果是，在a.xml文件中，增加一条元素。

4．应用建议

以上讲述了一个最简单的例子，（限于能力，我无法再简化了）。

以上的代码，每写一条信息，就要处理一次文件，这样频繁读写文件的效率很低。

实际的应用中，可以结合其它方法。比如，先把信息存在内存的DOM Tree或者Java Object里面，存放到一定数量的时候，再调用类似上面的代码，把数据一次存放到文件中。

本文推荐一种方法，把XML-Object Binding和SAX结合使用。比如，使用jaxb的XML-Object binding机制，用XML-Object存放结构简单的部分数据，然后用SAX把这些数据一次一次地存放到结构复杂的XML文件里面的某个指定位置。

当文件变得很大的时候，建议分成几个文件存储。

有可能加快内存回收的代码如下（可以照此释放DOM Tree或者Java Object）：

Vector v = new Vector(2000);

// process vector, after that

v = null; // cancel the reference

System.gc(); // suggest JVM to collect unused Object

5．按照XML格式解析HTML

HTML的结构性不够好，所以出现了结构化文档XML。事物总是相互影响的。HTML的不足催生了XML，XML的出现和发展，又反过来影响HTML的处理过程。

下面简单介绍按照XML结构解析HTML页面的方法——用DOM或者SAX解析HTML。

5．1 HTMLBuider

Apache Xerces包含一个org.apache.html.dom包，实现了这些HTML文档元素的接口。其中的HTMLBuider类是入口类，实现了org.xml.sax.DocumentHandler接口，接受SAX事件，生成HTML文档树。

这种方法的关键是找到一个合适的XMLReader，对HTML文档进行解析。很多XML解析器的容忍度很低，大多数HTML文档不是良好结构的XML，所以，经常有一些重要的HTML元素解析不出来。

5．2 NekoHTML Project

NekoHTML Open Source Project使用Apache Xerces的XNI（Xerces Native Interface）接口，对HTML文档进行解析，是一个不错的开源项目。

能够基本上不遗漏地处理每一个HTML元素生成HTML文档树。能够基本上不遗漏地对应每一个HTML元素产生SAX事件。

NekoHTML可以采用前述的两种方法处理HTML文档——（1）DOM+XPath，（2）SAX+Filter。

DOM+XPath的例子很直观，简单易读，容易上手。SAX+Filter比较难以理解，不易上手。

使用SAX+Filter的步骤：

1．建立自己的Filter，实现org.apache.xerces.xni.parser.XMLDocumentFilter接口。

参见org.cyberneko.html.filters包。

2．创建org.cyberneko.html.parsers.SAXParser。调用

parser.setFeature("http://cyberneko.org/html/features/balance-tags", false); // optional

XMLDocumentFilter[] filters = new XMLDocumentFilter[]{myFilter, writer}; // create filters

parser.setProperty("http://cyberneko.org/html/properties/filters", filters); // set filters

parser.parse(…);

6．总结

XML和相应工具的出现，大大减轻了我们的文档处理的工作量，加快了我们的工程项目的进度。J

分享到：

Web页面技术综述（包括fastm） | Java Thread in JVM

2003-04-01 09:03
浏览 445
评论(0)
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

SAX 实现“增量文件”

SAX 实现“增量文件”

1．XML格式的“增量文件”

2．XML数据的处理方法

2．1 XML Database

2．2 DOM + XPath

2．3 SAX + Filter<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

2．4 XML-Object Binding

2．5 关于Apache Project的其它参考

3．SAX实现“增量文件”

3．1 SAXWriter的代码

3．2 ContentAppender的源代码

3．3 主函数

4．应用建议

5．按照XML格式解析HTML

5．1 HTMLBuider

5．2 NekoHTML Project

6．总结

评论

发表评论

相关推荐

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

SAX 实现“增量文件”

SAX 实现“增量文件”

1．XML格式的“增量文件”

2．XML数据的处理方法

2．1 XML Database

2．2 DOM + XPath

2．3 SAX + Filter<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

2．4 XML-Object Binding

2．5 关于Apache Project的其它参考

3．SAX实现“增量文件”

3．1 SAXWriter的代码

3．2 ContentAppender的源代码

3．3 主函数

4．应用建议

5．按照XML格式解析HTML

5．1 HTMLBuider

5．2 NekoHTML Project

6．总结

评论

发表评论

相关推荐

最近访客更多访客>>