Flume-ng spooling source的方式增加了对目录的递归检测

 

 

原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动

ReliableSpoolingFileEventReader类增加以下下方法

 /**
  * add by 
  *
  * @param files
  * @param dir
  * @param filter
  */
 private void listDirFiles(List<File> files, File dir, FileFilter filter) {
  File[] childs = dir.listFiles(filter);// 列出目录下所有的文件
  for (int i = 0; i < childs.length; i++) {
   if (childs[i].isFile()) {
    files.add(childs[i]);
   } else {
    if (childs[i].isDirectory()) {
     listDirFiles(files, childs[i], filter);// 如果是个目录,就继续递归列出其下面的文件.
    }
   }
  }
 }

 

修改getNextFile方法

 private Optional<FileInfo> getNextFile() {
    List<File> candidateFiles = Collections.emptyList();

    if (consumeOrder != ConsumeOrder.RANDOM ||
      candidateFileIter == null ||
      !candidateFileIter.hasNext()) {
      /* Filter to exclude finished or hidden files */
      FileFilter filter = new FileFilter() {
        public boolean accept(File candidate) {
          String fileName = candidate.getName();
          if ((candidate.isDirectory()) ||
            (fileName.endsWith(completedSuffix)) ||
            (fileName.startsWith(".")) ||
            ignorePattern.matcher(fileName).matches()) {
            return false;
          }
          return true;
        }
      };
      //candidateFiles = Arrays.asList(spoolDirectory.listFiles(filter));
	  candidateFiles = new ArrayList<File>();//新增的
	  listDirFiles(candidateFiles, directory, filter);//新增的