千万级别只是个概念,代表数据量等于千万或者大于千万的数据
本分享不牵扯分布式采集存储之类的.是在一台机器上处理数据,如果数据量很大很大的话,可以考虑分布式处理,如果以后我有这方面的经验,会及时分享的.
1、程序采用的ftp工具, apache 的 commons-net-ftp-2.0.jar
2、千万级别ftp核心关键的部分--列目录到文件,只要是这块做好了,基本上性能就没有太大的问题了.
可以通过apache 发送ftp命令 "NLST" 的方式列目录到文件中去
# ftp列目录执行的命令 以环境变量的配置优先,不配置则使用默认的列目录方式 NLST # DS_LIST_CMD = NLST public File sendCommandAndListToFile(String command,String localPathName) throws IOException { try { return client.createFile(command, localPathName); } catch (IOException e) { log.error(e); throw new IOException("the command "+command +" is incorrect"); } }
当然应该还有其他形式的,大家可以自己研究一下
十万级别以上的数据量的话千万不要使用下面这种方式,如果用的话 ==== 找死
FTPFile[] dirList = client.listFiles();
3、分批次从文件中读取 要下载的文件名. 加载到内存中处理,或者读取一个文件名就下载一个文件,不要把所有的数据都加载到内存,如果很多的话会出问题
为啥要分批次?
因为是大数据量,如果有1000W条记录,列出来的目录文件的大小 1G以上吧
4、文件下载的核心代码----关于文件的断点续传, 获得ftp文件的大小和本地文件的大小进行判断,然后使用ftp提供的断点续传功能
下载文件一定要使用二进制的形式
client.enterLocalPassiveMode();// 设置为被动模式 ftpclient.binary(); // 一定要使用二进制模式 /** 下载所需的文件并支持断点续传,下载后删除FTP文件,以免重复 * @param pathName 远程文件 * @param localPath 本地文件 * @param registerFileName 记录本文件名称目录 * @param size 上传文件大小 * @return true 下载及删除成功 * @throws IOException * @throws Exception */ public boolean downLoad(String pathName, String localPath) throws IOException { boolean flag = false; File file = new File(localPath+".tmp");//设置临时文件 FileOutputStream out = null; try{ client.enterLocalPassiveMode();// 设置为被动模式 client.setFileType(FTP.BINARY_FILE_TYPE);//设置为二进制传输 if(lff.getIsFileExists(file)){//判断本地文件是否存在,如果存在并且长度小于FTP文件的长度时断点续传;返之新增 long size = this.getSize(pathName); long localFileSize = lff.getSize(file); if(localFileSize > size){ return false; } out = new FileOutputStream(file,true); client.setRestartOffset(localFileSize); flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out); out.flush(); } else{ out = new FileOutputStream(file); flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out); out.flush(); } }catch(IOException e){ log.error(e); log.error("file download error !"); throw e; }finally{ try{ if(null!=out) out.close(); if(flag) lff.rename(file, localPath); }catch(IOException e){ throw e; } } return flag; } /** * 获取文件长度 * @param fileNamepath 本机文件 * @return * @throws IOException */ public long getSize(String fileNamepath) throws IOException{ FTPFile [] ftp = client.listFiles(new String(fileNamepath.getBytes(),client.getControlEncoding())); return ftp.length==0 ? 0 : ftp[0].getSize(); } 检测本地文件是否已经下载,如果下载文件的大小. /** *本地文件的 获取文件的大小 * @param file * @return */ public long getSize(File file){ long size = 0; if(getIsFileExists(file)){ size = file.length(); } return size; }
5、因为程序要跑最多100多个线程,在线程监控上做了一些处理,可以检测那些死掉的线程,并及时的拉起来。
引用
t.setUncaughtExceptionHandler(new ThreadException(exList));
原理:给每个线程添加 UncaughtExceptionHandler,死掉的时候把线程对应的信息加入到一个list里面,然后让主线程每隔一段时间扫描一下list,如果有数据,直接重新建一个线程运行即可
6、如果程序是常驻内存的话,别忘记了在finally中关闭掉 不用的ftp连接
7、做大数据库采集程序必须考虑到的一件事情 磁盘空间已满的处理
java虚拟机对于磁盘空间已满,在英文环境下的 linux aix 机器上 一般报
There is not enough space in the file system
中文环境下 一般报 "磁盘空间已满"
大家可以使用下面的代码进行验证
//linux aix There is not enough space in the file system // window There is not enough space in the file system if(e.toString().contains("enough space")||e.toString().contains("磁盘空间已满")) { log.error("channel "+channel_name + " There is not enough space on the disk "); Runtime.getRuntime().exit(0); }
相关推荐
其次,对于FTP下载,Java提供了`java.net.FTPClient`类来处理FTP连接。FTP操作的基本流程如下: 1. **创建FTPClient对象**:`FTPClient ftp = new FTPClient();` 2. **连接服务器**:`ftp.connect("hostname", ...
在IT行业中,FTP(File Transfer Protocol)是一种广泛用于在互联网上进行文件传输的标准协议。本项目涉及的关键知识点包括FTP客户端的实现、CSV...这样的系统在数据处理、报告生成、自动化工作流等场景中非常有用。
Java FTP(文件传输协议)是Java编程中用于与FTP服务器交互的一种技术,它允许开发者上传、下载文件,以及执行其他FTP命令。这篇博客"java FTP 上传 下载 (中文) 文件"提供了关于如何在Java中实现FTP操作的中文...
Java 实现FTP服务器是一项常见的开发任务,这通常涉及到使用Java编程语言来构建一个能够处理文件传输协议(FTP)请求的应用程序。在这个过程中,开发者需要理解FTP的基本原理,并掌握相关的Java库来简化实现。 FTP...
Java通过`java.net.Socket`类和`java.io`包提供了低级别的网络通信支持,但为了简化FTP的实现,通常会使用如`org.apache.commons.net.ftp.FTPClient`这样的库,它是Apache Commons Net的一部分。 在"chap08 FTP服务...
JavaFTP是一个基于Java实现的FTP(File Transfer Protocol)服务器程序,它允许用户通过FTP协议进行文件的上传、下载以及管理操作。FTP是互联网上一种广泛使用的文件传输协议,主要用于在客户端和服务器之间交换文件...
Java 实现本地按照FTP服务器上目录结构创建文件夹并下载文件是常见的开发需求,尤其是在进行数据迁移、备份或系统集成时。在这个过程中,开发者通常会使用FTP(File Transfer Protocol)库来实现远程文件操作。本...
本项目基于Java实现了一个类似FTP(File Transfer Protocol)的服务,旨在帮助学习者理解如何在Java环境中构建文件传输功能。 FTP是一种广泛使用的互联网协议,用于在计算机之间交换文件。它允许用户从远程服务器...
本文将深入探讨如何使用Java实现FTP文件的上传和下载操作。 FTP协议是Internet上的一个标准协议,用于在客户端和服务器之间进行文件传输。在Java中,我们可以使用`java.net`和`java.io`库中的类来实现FTP功能,或者...
用Java实现FTP批量大文件上传下载 本文介绍了如何使用Java实现FTP批量大文件上传下载,包括如何选择合适的FTP客户端库、如何使用Java编写FTP客户端代码,并将其develop into a web-based applet控件。文章还介绍了...
- FTP文件比较:可以编写一个Java程序,连接到FTP服务器,下载两个文件并比较它们的内容是否一致。 - Socket通信:创建一个简单的聊天应用,客户端通过Socket发送消息,服务器端接收并广播给其他连接的客户端。 -...
Java提供了一个名为`java.net.Socket`的低级别API来处理FTP连接,但通常开发者会使用更高级别的库,如Apache Commons Net,它提供了FTPClient类,简化了FTP操作。 2. 使用Apache Commons Net库: Apache Commons ...
在Java编程环境中,FTP(File Transfer Protocol)类库主要用于实现FTP服务器的功能,允许客户端通过FTP协议上传、下载或管理远程文件。本篇文章将深入探讨如何使用Java的FTP类来开发一个FTP服务器,以及相关的知识...
FTP支持两种模式:主动模式和被动模式,这两种模式主要处理数据连接的不同建立方式。 在Java中,我们可以使用`java.net`和`java.io`包中的类来实现FTP功能,但更常见的是使用Apache的Commons Net库,它提供了更高...
在压缩包文件名称"HB_dosp_3G_product"中,"HB"可能是项目或公司的缩写,"dosp"可能代表某种特定的数据处理流程或存储过程,"3G"可能指的是数据量级别,表示大约3GB的数据,而"product"可能是指产品相关的数据。...
2. **Java FTP库**:Java提供了`java.net.Socket`类进行低级别的网络通信,但处理FTP协议较为复杂。因此,通常会使用Apache Commons Net库,它提供了`FTPClient`类,简化了FTP操作。这个库提供了连接、登录、文件...
为了在Java和Visual C++中实现FTP的文件下载,你需要理解FTP协议的工作流程,包括控制连接和数据连接的建立,以及FTP命令和响应的格式。在Java中,可以使用`org.apache.commons.net.ftp.FTPClient`库简化这一过程,...
在Java编程中,与FTP(File Transfer Protocol,文件传输协议)服务器进行数据传输是一项常见的任务,特别是在开发涉及文件上传和下载的应用程序时。本篇文章将深入探讨如何利用Java实现这一功能,以及相关的重要...
在本项目中,Java作为主要的后端编程语言,负责处理逻辑和数据交互。 2. **JavaFX**:JavaFX是Oracle提供的一个用于创建桌面、Web和嵌入式设备的富客户端应用程序的平台。它提供了丰富的UI组件和强大的图形库,使得...