`
idealab
  • 浏览: 197810 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Java压缩和解压缩

    博客分类:
  • Java
阅读更多
压缩需求:压缩文件夹下所有具有统一文件名规范的普通文件,同时添加文件名与压缩包相同的MANIFEST文件,包含所有被压缩文件的文件名及大小列表。
Java文件压缩涉及到的类均在java.uti.zip包下:
  • ZipOutputStream: Zip包的输出流,利用putNextEntry()向包内添加一个文件。
  • ZipEntry: 将被压缩到包内的文件实例,在文件名后添加文件分隔符可以压缩目录。

代码如下:
public class FileZipper {

	private static String INPUT_FPATH = "C:/temp/fileZipper/DropZone/Input_Min";
	private static String OUTPUT_ZIP_PATH = "C:/temp/fileZipper/DropZone/Input_Zip";
	private static String OUTPUT_ZIP_TSPATH = "/SRE/apps/ican505/sandbox/jerry/filezipper/Output_TS";
	private static String ARCHIEVE_ZONE = "C:/temp/fileZipper/ArchiveZone";
	private static String INPUT_DELIM = ":";
	private static String ZIP_FPATTERN = "I2001_GLB";
	private static int AVG_FILENAME_LEN = 45; // Default to length of each entry in MANIFEST
	private static int BUF_SIZE = 1024;
	private static int STD_ZIP_ENTRIES = 20;

	public String zipFilesByJava(String strZipFilePattern, String strFilePath, String strOutputFileList,	String strErrorZonePath) {
			System.out.println("***** Inside zipFilesByJava method  *****");
			System.out.println("***** Source Location of files: " + strFilePath + ", Zip File Pattern: " + strZipFilePattern + " *****");
			String strZipFName = "";
			String strEntryFName = "";
			String strManifestFName = "";
			SimpleDateFormat dateFormatter = new SimpleDateFormat("yyyyMMddHHmmssSS");
			StringTokenizer strFileList = new StringTokenizer(strOutputFileList, "|");
			if (strFileList == null || strFileList.countTokens() == 0) {
				System.out.println("[ERROR] Input file list is NULL or EMPTY!");
				return null;
			}
			FileInputStream fin = null;
			ZipOutputStream zos = null;
			ZipEntry zipEntry = null;
			StringBuffer sbZippedEntryList = null;
			if (STD_ZIP_ENTRIES <= 0) {
				System.out.println("[WARN] The property STD_ZIP_ENTRIES can NOT be negative or zero! Reset to 100");
				STD_ZIP_ENTRIES = 100;
			}
			if (BUF_SIZE <= 0) {
				System.out.println("[WARN] The property BUF_SIZE can NOT be negative or zero! Reset to 1024");
				BUF_SIZE = 1024;
			}
			byte[] bInputBuf = new byte[BUF_SIZE];
			int iTotalFiles = strFileList.countTokens();
			int iTotalZips = iTotalFiles / STD_ZIP_ENTRIES == 0 ? 1	: iTotalFiles / STD_ZIP_ENTRIES;
			int iEntryListLen = (iTotalZips == 1) ? AVG_FILENAME_LEN : STD_ZIP_ENTRIES * AVG_FILENAME_LEN;
			int AVG_FILENAME_LEN = 45; // Length of entry in MANIFEST which contains standard filename and file size. // i.e, I1001_GWM_7360_MAN_20100426000000.txt|1111
			StringBuffer sbZipFNameList = new StringBuffer(iTotalZips);
			String strTS = dateFormatter.format(new Date());
			try {
				System.out.println("[INFO] Current Time in Millis: " + System.currentTimeMillis());
				for (int iCntZip = 0; iCntZip < iTotalZips; iCntZip++) {
					if (iTotalFiles == 1) {
						strZipFName = strOutputFileList;
						strZipFName = OUTPUT_ZIP_PATH + File.separatorChar + strZipFName.replaceAll(".txt$", ".zip");
					} else {
						strZipFName = OUTPUT_ZIP_PATH + File.separatorChar + strZipFilePattern + "_" + strTS + ".zip";
					}
					zos = new ZipOutputStream(new CheckedOutputStream(new FileOutputStream(strZipFName), new CRC32()));
					if (zos == null) {
						System.out.println("[ERROR] ZIPOutputStream for output zip file is NULL!");
						return null;
					}
					if (iCntZip != 0 && iCntZip == iTotalZips - 1)
						iEntryListLen = STD_ZIP_ENTRIES * 2 * AVG_FILENAME_LEN;
					sbZippedEntryList = new StringBuffer(iEntryListLen);
					int iCntEntry = 0;
					int iReadSize = 0;
					int iFileSize = 0;
					while ((iCntZip != iTotalZips - 1 && iCntEntry < STD_ZIP_ENTRIES) || (iCntZip == iTotalZips - 1 && iCntEntry < 2 * STD_ZIP_ENTRIES) && strFileList.hasMoreTokens()) {
						strEntryFName = strFileList.nextToken();
						if (!(new File(strFilePath + File.separatorChar + strEntryFName).exists())) {
							System.out.println("[ERROR] The input file " + strFilePath + File.separatorChar + strEntryFName + " does NOT exist!");
							return null;
						}
						zipEntry = new ZipEntry(strEntryFName);
						zos.putNextEntry(zipEntry);
						fin = new FileInputStream(strFilePath + File.separatorChar + strEntryFName);
						while ((iReadSize = fin.read(bInputBuf)) != -1) {
							zos.write(bInputBuf);
							iFileSize += iReadSize;
							bInputBuf = new byte[BUF_SIZE];
						}
						iCntEntry++;
						sbZippedEntryList.append(strEntryFName + "|" + iFileSize + "\n");
						iReadSize = 0;
						iFileSize = 0;
						System.out.println("[INFO] Entry No. " + iCntEntry + ": " + strEntryFName);
						fin.close();
						if(new File(strFilePath + File.separatorChar + strEntryFName).renameTo(new File(ARCHIEVE_ZONE + File.separatorChar + strEntryFName)))
							System.out.println("[INFO] Entry file " + strEntryFName + " is already moved to Archieve Zone!");
					}
					strManifestFName = strZipFilePattern + "_" + strTS + ".MANIFEST";
					zipEntry = new ZipEntry(strManifestFName);
					zos.putNextEntry(zipEntry);
					zos.write(sbZippedEntryList.toString().getBytes());
					zos.close();
					System.out.println("---------------------------\n[TOTAL] Zip No. "
						+ (iCntZip + 1) + ": " + iCntEntry + " files compressed into zip "
						+ strZipFName + "!\n---------------------------\n");
					sbZipFNameList.append(strZipFName);
				}
				System.out.println("[END] Finished reading and zipping!");
				System.out.println("[INFO] Current Time in Millis: " + System.currentTimeMillis());
			} catch(ZipException zipE){
				System.out.println("[ERROR] ZipException thrown!");
				zipE.printStackTrace();
			} catch (IOException ioE) {
				System.out.println("[ERROR] IOException thrown!");
				ioE.printStackTrace();
			}
			return sbZipFNameList.toString();
	}



解压缩需求:解压缩一个zip文件,读取MANIFEST文件,一一验证MANIFEST文件中所列的文件名和大小,只有当所有文件和大小均匹配时解压zip包至特定目录。
Java文件解压缩需要用到的类包括ZipFile(用文件名实例化一个压缩包)和ZipEntry,ZipEntry实例被从ZipFile实例获取。 利用ZipFile的getOutputStream()(zipEntry实例作为参数)可以获取对zipEntry的输入流,由此读入数据并写出到文件系统。
代码如下:
public class FileUnzipper {
	public static Logger logger = Logger.getLogger(FileUnzipper.class.getName());
	public String strErrMsg = ""; 
	void unzip(String strZipFilePath, String strTargetFilePath, String strErrorZone, String strZipPattern, String strClaimsFilePattern,
			String strArchivePath) {
		if (!new File(strZipFilePath).exists() || !new File(strTargetFilePath).exists() || strZipPattern == null || strZipPattern.trim().length() <= 0
				|| strClaimsFilePattern == null || strClaimsFilePattern.trim().length() <= 0){
			strErrMsg = "The mandatory location/filename for unzipping is(are) NOT valid!";
			logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
			return;
		}
		File[] fZipArray = new File(strZipFilePath).listFiles(new FileListFilter(strZipPattern, "zip"));
		if (fZipArray == null || fZipArray.length == 0){
			strErrMsg = "No Zip file with pattern " + strZipPattern + " exist in the source path: " + strZipFilePath;
			logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
			return;
		}
		ZipFile zipFile = null;
		ZipEntry zipEntry = null;
		Enumeration zipAllEntries = null;
		BufferedReader bufManifestReader = null;
		Map mapFNameToSize = new HashMap();
		InputStream isEntryFile = null;
		OutputStream osEntryFile = null;
		OutputStream osEntryArchive = null;
		String strZipFName = "";
		String strManifestFName = "";
		String strReadLine = "";
		String strEntryFName = "";
		long lEntryFSize = 0L;
		int iEntryCounter = 0;
		byte[] bReadBuf = new byte[PropSet.FILE_WRITE_BUFSIZE];
		boolean bEntryMismatched = false;
		try{
			for (int iZip = 0; iZip < fZipArray.length; iEntryCounter = 0, iZip++){
				strZipFName = fZipArray[iZip].getName();
				strManifestFName = strZipFName.substring(0, strZipFName.indexOf(".zip")) + ".MANIFEST";
				if(!fZipArray[iZip].isFile()){
					logger.warn("The zip file " + strZipFName + " is directory or NOT a normal zip file! Moving to ErrorZone...");
					if(fZipArray[iZip].renameTo(new File(strErrorZone + File.separator + strZipFName)))
						logger.info("Successfully moved to ErrorZone!");
					else logger.error("Failed to move to ErrorZone!");
					continue;
				}
				zipFile = new ZipFile(fZipArray[iZip]);
				
				// process manifest entry
				zipEntry = zipFile.getEntry(strManifestFName);
				if(zipEntry == null){
					strErrMsg = "The zip file " + strZipFName + " does NOT contain MANIFEST file! Moving the zip file to ErrorZone...";
					logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
					if(!fZipArray[iZip].renameTo(new File(strErrorZone + File.separator + strZipFName)))
						logger.info("Successfully moved to ErrorZone!");
					else logger.error("Failed to move to ErrorZone!");
					continue;
				}
				bufManifestReader = new BufferedReader(new InputStreamReader(zipFile.getInputStream(zipEntry)));
				while((strReadLine = bufManifestReader.readLine()) != null){
					try{
						mapFNameToSize.put(strReadLine.split("[|]")[0], strReadLine.split("[|]")[1]);
					}catch(Exception exc){
						throw new Exception("Failed to add [filename --> filesize] mapping to hashmap from manifest file!	Line supposed to be mapped: " + strReadLine);
					}
				}
				mapFNameToSize.put(strManifestFName, Long.toString(zipEntry.getSize()));
				bufManifestReader.close();
				
				// process data entries
				zipAllEntries = zipFile.entries();
				while(zipAllEntries.hasMoreElements()){
					bEntryMismatched = false;
					zipEntry = (ZipEntry)zipAllEntries.nextElement();
					strEntryFName = zipEntry.getName().trim();
					lEntryFSize = zipEntry.getSize();
					if(zipEntry.isDirectory()){
						logger.warn("The entry " + strEntryFName + " IS directory, to ignore it.");
						continue;
					}
					if(!(strEntryFName.startsWith(strClaimsFilePattern) || strEntryFName.trim().equals(strManifestFName))){
						bEntryMismatched = true;
						strErrMsg = "Invalid Zip Entry Name " + strEntryFName + ", Decompressing to ErrorZone...";
						logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
					}else if(!mapFNameToSize.containsKey(strEntryFName) || !mapFNameToSize.get(strEntryFName).equals(Long.toString(lEntryFSize))){
						bEntryMismatched = true;
						strErrMsg = "Entry-filename: " + strEntryFName + ", Entry-filesize: " + lEntryFSize
							+ " mismatch with the value " + mapFNameToSize.get(strEntryFName) + " in Manifest file! Decompressing to ErrorZone...";
						logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
					}
					isEntryFile = zipFile.getInputStream(zipEntry);
					osEntryFile = bEntryMismatched ? new FileOutputStream(strErrorZone + File.separator + strEntryFName) : new FileOutputStream(strTargetFilePath + File.separator + strEntryFName);
					osEntryArchive = new FileOutputStream(strArchivePath + File.separator + strEntryFName);
					while(isEntryFile.read(bReadBuf) != -1){
						osEntryFile.write(bReadBuf);
						osEntryArchive.write(bReadBuf);
					}
					isEntryFile.close();
					osEntryFile.close();
					osEntryArchive.close();
					if(!bEntryMismatched){
						iEntryCounter++;
						logger.info("Matched Entry No. " + iEntryCounter + " | Entry Name: " + strEntryFName +", Entry File Size: " + lEntryFSize);
					}else logger.info("The mismatched Entry file was Decompressed to ErrorZone and Archived!");
				}
				logger.info("Zip No. " + iZip + " | Zip Filename: " + strZipFName + ", Entries contained: " + zipFile.size() + ", Entries decompressed: " + iEntryCounter);
				zipFile.close();
				if(fZipArray[iZip].delete())
					logger.info("Deleted the zip file!");
				else logger.warn("Failed to delete the zip file!");
			}
			logger.info("Finished process the zip file(s) in location " + strZipFilePath);
		}catch(IOException ioE){
			strErrMsg = "IOException happned with msg: " + ioE.getMessage();
			logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
			if(fZipArray != null && fZipArray.length > 0){
				for(int iZip = 0; iZip < fZipArray.length; iZip++){
					if(!fZipArray[iZip].renameTo(new File(strErrorZone + File.separator + fZipArray[iZip].getName()))){
						logger.warn("Failed to move the left zip file " + fZipArray[iZip].getName() + " to ErrorZone " + strErrorZone);
					}else logger.info("Moved the zip file " + fZipArray[iZip].getName() + " to ErrorZone " + strErrorZone);
				}
			}
		}catch(Exception exc){
			strErrMsg = "Exception happened with msg: " + exc.getMessage();
			logger.error("[" + PropSet.GIFInterfaceId + "] " + strErrMsg);
		}
	}
    
class FileListFilter implements FilenameFilter {

	private String name;

	private String extension;

	public FileListFilter(String name, String extension) {
		this.name = name;
		this.extension = extension;
	}

	public boolean accept(File directory, String filename) {
		boolean fileOK = true;
		if (name != null) {
			fileOK &= filename.startsWith(name);
		}
		if (extension != null) {
			fileOK &= filename.endsWith('.' + extension);
		}
		return fileOK;
	}

}

class PropSet {
	static int FILE_WRITE_BUFSIZE = 1024;
	static String GIFInterfaceId = "I2001_GLB";
}


由于需求特定,代码实现有所局限。
看到Snowolf对带有压缩算法的压缩/解压缩的研究,在实际应用中需要面对不同的问题和场景,如文件读写同步/目录压缩及解压缩/中文编码等。故本文章也会适时更新。
0
0
分享到:
评论

相关推荐

    java压缩和解压缩

    Java编程语言提供了强大的文件压缩和解压缩功能,主要通过java.util.zip包中的类来实现,如ZipOutputStream用于压缩,ZipInputStream用于解压缩。本篇将深入探讨这些关键类的使用方法,以及在Java中处理ZIP文件的...

    java 压缩和解压缩为zip文件

    java 压缩和解压缩为zip文件 有测试类,可以直接测试。效果还不错,现网已经运行好长时间了

    Java压缩和解压缩zip文件

    在Java编程环境中,处理压缩和解压缩文件是一项常见的任务,特别是在需要打包或传输大量数据时。本篇文章将详细探讨如何使用Java内置的类库来实现ZIP文件的压缩和解压缩,以及解决中文文件名出现乱码的问题。 首先...

    java压缩和解压缩文件

    Java编程语言提供了丰富的库来处理文件的压缩和解压缩任务,这主要归功于Java标准库中的`java.util.zip`包。在这个包中,我们有`ZipOutputStream`和`ZipInputStream`类用于创建和读取ZIP文件,以及`GZIPOutputStream...

    完美JAVA压缩和解压缩(源码)

    结合以下两篇文章做了个压缩和解压缩工程,开放全部源码! &lt;br&gt;http://agilejava.blogbus.com/logs/2005/09/1406938.html&lt;br&gt;http://blog.csdn.net/robin622/archive/2008/01/01/2008203.aspx

    java实现霍夫曼(huffman)树的压缩和解压缩

    java实现霍夫曼(huffman)树的压缩和解压缩,支持对文档的压缩和解压缩

    实例展示使用Java压缩和解压缩7z文件的方法

    本文将通过一个实例展示如何使用7-zip的开源项目7-zip-JBinding在Java中实现7z文件的压缩和解压缩。 首先,7-zip-JBinding是一个Java绑定库,它允许Java程序直接调用7-zip的API,从而在Java环境中操作7z文件。项目...

    基于JAVA文件压缩与解压缩实践源代码

    为了进一步学习和理解,建议按照说明运行代码,查看输出结果,并逐步分析代码逻辑,以加深对Java压缩和解压缩机制的理解。 此外,了解如何处理异常情况也是关键。在处理文件I/O和压缩操作时,可能会遇到如文件不...

    java 压缩和解压缩Zip、Jar、Gzip文件实例代码

    Java中的压缩和解压缩是开发过程中经常遇到的功能,特别是在处理大量数据传输或存储时。本文主要探讨如何使用Java API来处理ZIP、JAR和GZIP格式的文件。 1. ZIP文件压缩与解压缩: ZIP是最常用的压缩格式,Java...

    java 实现huaffman压缩和解压缩

    这些文件可以帮助我们进一步理解和学习如何在Java环境中实现哈夫曼编码的压缩和解压缩功能。如果你想要深入学习或实践,可以下载这个压缩包,阅读代码,并尝试运行它们来观察压缩和解压缩的效果。

    java端压缩和解压缩

    Java的`java.util.zip`包提供了压缩和解压缩的基础工具类,如`ZipOutputStream`、`ZipEntry`等。这些类可以用来创建ZIP格式的压缩文件。`ZipOutputStream`是实现文件压缩的关键类之一,它可以将多个文件写入到一个...

    java中如何实现压缩和解压缩

    本文将深入探讨如何使用Java API来处理ZIP文件格式的压缩和解压缩操作。 首先,我们要了解Java标准库中的`java.util.zip`包,这个包提供了对ZIP文件格式的支持。主要涉及的类有`ZipEntry`和`ZipOutputStream`用于...

    Huffman 编码图像无损压缩和解压缩 Python示例代码 哈夫曼编码

    本程序实现了利用 Huffman 编码对图像进行无损压缩和解压缩。Huffman 编码是一种基于字符出现频率构建相应前缀码的无损数据压缩算法。 使用方法: 1. 需要安装 OpenCV 和 Numpy 库: pip install opencv-python ...

    java语言实现apk文件的压缩和解压缩

    在Java编程环境中,APK文件是Android应用的安装包,通常是`.apk`格式,它包含了应用的所有资源、代码和配置信息。本实例将探讨如何利用...总之,Java提供的`java.util.zip`库为处理压缩和解压缩任务提供了强大的支持。

    java实现对文件或文件夹的压缩和解压缩

    在Java编程中,有时我们需要对文件或文件夹进行压缩和解压缩操作,这在数据传输、备份或存储优化等场景中十分常见。Apache提供了一个强大的第三方库——Commons Compress,它可以帮助我们处理各种格式的压缩文件,...

    java压缩文件以及文件夹

    在Java编程中,压缩和解压缩文件是常见的任务,特别是在处理大量数据或传输文件时。本文将深入探讨如何使用Java来处理压缩文件,特别是针对标题提及的“java压缩文件以及文件夹”。我们将主要关注`ZipCompressor....

    JAVA文件压缩与解压缩实践(源代码+论文)

    1. **Java压缩库**:Java标准库提供了`java.util.zip`包,它包含了多种压缩和解压缩的类,如`ZipOutputStream`、`ZipInputStream`、`GZIPOutputStream`和`GZIPInputStream`,用于处理ZIP和GZIP格式的文件。...

    java自带压缩方式的性能比较

    在Java编程语言中,内置了多种压缩和解压缩的方式,如Gzip和Zip。这篇博客“java自带压缩方式的性能比较”可能详细分析了这两种压缩方法的效率和应用场景。通过提供的代码文件`CompressTestMain.java`、`GzipUtils....

    压缩和解压缩源码

    在IT行业中,压缩和解压缩技术是数据存储和传输领域不可或缺的一部分。压缩技术的主要目标是减少文件大小,以便更有效地存储或更快地传输数据。解压缩则是将已压缩的文件恢复到其原始形式的过程。本篇文章将深入探讨...

    使用Huffman对文件进行压缩和解压缩

    7. **HuffmanTest**:这个文件名可能是一个测试类,用于实现上述的压缩和解压缩过程。在Java中,可以使用`java.io`和`java.nio`包下的类进行文件操作,使用`java.util`包下的数据结构辅助实现Huffman算法。 实现...

Global site tag (gtag.js) - Google Analytics