技术改变生活

数据部的同事，需要 从网上下载 pdf 文件。

给定文件夹，其中包含若干个 txt 文件， txt 文件内容，每行 均 为一个 链接，点击链接会 直接下载 pdf 文件。

需要，在

1、总文件夹 下 按照 txt 文件名称 创建文件夹，

2、对应 txt 文件中的所有 链接 ，均下载到对应 txt 名称 的文件夹 下。

3、将所有 pdf 文件，按照下载 顺序 和 页数 进行重命名，命名 规则为 ， 1-7.pdf 8-15.pdf 。

现存问题：

1、pdf 下载后，根据页码 重命名，顺序不正确会导致 命名 顺序打乱 导致 命名出错。

2、错误： 文件名称，不能包含 上标，下标，等特殊符号，包含特殊符号，会进行 html 转码，则导致创建文件失败。

完整代码如下：

刚开始上传的第一版，报错后不能继续下载，现在，报错后，可以继续下载后面的url 。

错误日志，输出到 txt 目录下，生成 log.txt文件。

package cn.digitalpublishing;

import java.io.BufferedReader;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLDecoder;

import com.lowagie.text.pdf.PdfReader;

/**
 * 
 * @author www.wswhr.com
 * @see http://blog.csdn.net/u012246342/article/details/60139990  
 *
 *现存问题：
 *	1、pdf 下载后，根据页码 重命名，顺序不正确会导致 命名 顺序打乱 导致 命名出错。
 *
 *注：
 *	pdf 文件下载后，重命名问题 ： 需要导入 com.lowagie.text.pdf.PdfReader  jar 包。
 */
public class Snippet {

	public static void main(String[] args) {
		
		/**
		 * 错误： 文件名称，不能包含 上标，下标，等特殊符号，包含特殊符号，会进行 html 转码，则导致创建文件失败。
		 * 衍生化技术用于生物基质中性激素LC-MS<i><sup>n<\sup><\i>检测的进展.pdf 
		 */
		System.out.println("程序开始。");
		createDir("W://download//pdf//pdfRename");

		downloadFile("W://download//pdf//pdfRename");
		
		// fileRename("W://download//pdf//pdfRename");// pdf 文件的目录
		
		System.out.println("程序结束");
	}
	
	public static void errorLog(String logFilePath,String logInfo){
		FileWriter fw = null;
		PrintWriter pw = null;
		
		try {
			// 如果文件存在，则追加内容；如果文件不存在，则创建文件
			File f = new File(logFilePath + "\\log.txt");
			fw = new FileWriter(f, true);
			pw = new PrintWriter(fw);
			pw.println(logInfo);
			pw.flush();
			fw.flush();
			pw.close();
			fw.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	
	public static void createDir(String filePath) {
		try {
			File dir = new File(filePath);
			String[] filelist = dir.list();
			for (int i = 0; i < filelist.length; i++) {
				File readfile = new File(filePath + "\\" + filelist[i]);
				if (readfile.isDirectory() && readfile.exists()) {// 判断当前 txt 是否已经创建同名 文件夹
					errorLog(filePath, "创建目录失败，目标目录已存在！");
				} else {
					File fileDir = new File(readfile.getPath().substring(0,
							readfile.getPath().lastIndexOf('.')));
					fileDir.mkdirs();
				}
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	public static void downloadFile(String txtFilePath) {
		try {
			File readerPath = new File(txtFilePath);
			String[] filelist = readerPath.list();

			for (int i = 0; i < filelist.length; i++) {
				File isDir = new File(txtFilePath + "\\" + filelist[i]);
				if(!isDir.isDirectory()){
					errorLog(txtFilePath, "******************开始下载：" + isDir.getName() + "文件*******************");
					FileReader reader = new FileReader(txtFilePath + "\\" + filelist[i]);

					BufferedReader br = new BufferedReader(reader);
					String str = null;
					String decodeFName = "";
					int num = 1;
					while ((str = br.readLine()) != null) {
						URL url = new URL(str);
						HttpURLConnection conn = (HttpURLConnection) url.openConnection();
						conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
						conn.setConnectTimeout(30000);  
						conn.setReadTimeout(30000);  
						String fileName = conn.getHeaderField("Content-Disposition").substring(20);
						decodeFName = URLDecoder.decode(fileName, "utf-8");

						String savePath = txtFilePath + "//" + isDir.getName().substring(0,isDir.getName().lastIndexOf('.'));
						downLoadFromUrl(txtFilePath,isDir.getName(),num,str, num+decodeFName, savePath);
						num++;
					}
					errorLog(txtFilePath, "××××××××××××××××××××"+isDir.getName()  + "文件 下载完成×××××××××××××××××××");
					br.close();
					reader.close();
				}
			}

		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public static void fileRename(String renameFilePath) {
		try {
			File file = new File(renameFilePath);

			String[] filelist = file.list();

			int pageNum = 0;
			for (int i = 0; i < filelist.length; i++) {
				File readfile = new File(renameFilePath + "\\" + filelist[i]);

				PdfReader reader = new PdfReader(readfile.getPath());
				int home, end;
				int page = reader.getNumberOfPages();
				System.err.println(page);
				if (pageNum == 0) {
					home = 1;
					end = page;
				} else {
					home = pageNum;
					end = pageNum + page;
				}
				// System.out.println("path=" + readfile.getPath());
				// System.out.println("absolutepath=" +
				// readfile.getAbsolutePath());
				// System.out.println("name=" + readfile.getName());
				String fileName = home + "-" + end + ".pdf";
				File renameFile = new File(fileName);
				readfile.renameTo(renameFile);
				pageNum = pageNum + page + 1;
			}
		} catch (Exception e) {

		}
	}

	/**
	 * 从网络Url中下载文件
	 * 
	 * @param urlStr
	 * @param fileName
	 * @param savePath
	 * @throws IOException
	 */
	public static void downLoadFromUrl(String homePath,String urlFileName,int errorNum,String urlStr, String fileName,String savePath) throws IOException {
		try {
			URL url = new URL(urlStr);
			HttpURLConnection conn = (HttpURLConnection) url.openConnection();
			// 设置超时间为3秒
			conn.setConnectTimeout(3 * 1000);
			// 防止屏蔽程序抓取而返回403错误
			conn.setRequestProperty("User-Agent",
					"Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
			// 得到输入流
			InputStream inputStream = conn.getInputStream();
			// 获取自己数组
			byte[] getData = readInputStream(inputStream);
			// 文件保存位置
			File saveDir = new File(savePath);
			if (!saveDir.exists()) {
				saveDir.mkdir();
			}
			File file = new File(saveDir + File.separator + fileName);
			FileOutputStream fos = new FileOutputStream(file);
			fos.write(getData);
			if (fos != null) {
				fos.close();
			}
			if (inputStream != null) {
				inputStream.close();
			}
			String fileGetName = conn.getHeaderField("Content-Disposition")
					.substring(20);
			String fileSaveName = URLDecoder.decode(fileGetName, "utf-8");
			errorLog(homePath, "信息 : " + fileSaveName + " 下载完成！");
		} catch (Exception e) {
			errorLog(homePath, "~~~~~~~~~~");
			errorLog(homePath, "出错文件是："+ urlFileName);
			errorLog(homePath, "出错链接是：" + urlStr);
			errorLog(homePath, "该文件出错行数是：" + errorNum);
			errorLog(homePath, "----------");
			e.printStackTrace();
		}

	}

	public static byte[] readInputStream(InputStream inputStream)throws IOException {
		try {
			byte[] buffer = new byte[1024];
			int len = 0;
			ByteArrayOutputStream bos = new ByteArrayOutputStream();
			while ((len = inputStream.read(buffer)) != -1) {
				bos.write(buffer, 0, len);
			}
			bos.close();
			return bos.toByteArray();
		} catch (Exception e) {
			e.printStackTrace();
			return null;
		}
		
	}
}