MahoutDriver运作机制-mahout源码学习及总结

 

 下面我们来看一下MahoutDriver方法组成，下面先粘贴上其方法大纲

 

 

先简单介绍一下main方法之外的一些方法的作用

 

 private static boolean isDeprecated(Properties mainClasses, String keyString) {
    return "deprecated".equalsIgnoreCase(shortName(mainClasses.getProperty(keyString)));
  }

 

 

private static Properties loadProperties(String resource) throws IOException

private static String[] shift(String[] args)

private static String shortName(String valueString) {
    return valueString.contains(":") ? valueString.substring(0, valueString.indexOf(':')).trim() : valueString;
}

  private static String desc(String valueString) {
    return valueString.contains(":") ? valueString.substring(valueString.indexOf(':')).trim() : valueString;
  }

 

介绍一下MahoutDriver的核心代码，这里我们就不粘贴全部代码了，我们分逻辑块说明

 ProgramDriver programDriver = new ProgramDriver();
 2. 首先加载mahout配置文件driver.classes.props ,如果该文件不存在的话，我们加载driver.classes.default.props ，如果都不存在就会退出，停止运行，如果我们需要新添加算法类，可以再两个文件中添加

    Properties mainClasses = loadProperties("driver.classes.props");
    if (mainClasses == null) {
      mainClasses = loadProperties("driver.classes.default.props");
    }
    if (mainClasses == null) {
      throw new IOException("Can't load any properties file?");
    }

    boolean foundShortName = false;
    for (Object key :  mainClasses.keySet()) {
      String keyString = (String) key;

      if (args.length > 0 && shortName(mainClasses.getProperty(keyString)).equals(args[0])) {
        foundShortName = true;
      }

      if (args.length > 0 && keyString.equalsIgnoreCase(args[0]) && isDeprecated(mainClasses, keyString)) {
        log.error(desc(mainClasses.getProperty(keyString)));
        return;
      }

       不处理已经过时废弃的类
      if (isDeprecated(mainClasses, keyString)) {
        continue;
      }

      addClass(programDriver, keyString, mainClasses.getProperty(keyString));
    }

   if (args.length < 1 || args[0] == null || "-h".equals(args[0]) || "--help".equals(args[0])) {
      programDriver.driver(args);
    }

    String progName = args[0];
    if (!foundShortName) {
      addClass(programDriver, progName, progName);
    }
    shift(args);

5. 加载progName + ".props"指定配置文件（progName 就是我们传递的第一个参数），如果不存在的话，那么我们就只能使用命令行参数了

 Properties mainProps = loadProperties(progName + ".props");
    if (mainProps == null) {
      log.warn("No {}.props found on classpath, will use command-line arguments only", progName);
      mainProps = new Properties();
    }

     Map<String,String[]> argMap = Maps.newHashMap();

    int i = 0;
    while (i < args.length && args[i] != null) {
      List<String> argValues = Lists.newArrayList();

      //取到当前参数，该值是用来作为map中的key使用的，

      1)arg一般情况下为当前参数 args[i]  当前args[i]后面的一系列参数都会作为args[i]的参数，除非我们查找到带 “ -  ”横杠的参数 

      2)但是如果是java命令行参数的话，该值会被替换为args[i]中=符号前面的部分，args[i]中=符号后面的字符串作为值
      String arg = args[i];
      i++;

       //验证是否是java的命令行参数设置
      if (arg.startsWith("-D")) { // '-Dkey=value' or '-Dkey=value1,value2,etc' case
        String[] argSplit = arg.split("=");
        arg = argSplit[0];
        if (argSplit.length == 2) { 传参格式必须正确长度必须是2
          argValues.add(argSplit[1]);
        }
      } else { 非java命令行参数value值添加处理                                     // '-key [values]' or '--key [values]' case.
        while (i < args.length && args[i] != null) {

           //非java命令行参数处理，只要遇到-
          if (args[i].startsWith("-")) {
            break;
          }
          argValues.add(args[i]);
          i++;
        }
      }
      argMap.put(arg, argValues.toArray(new String[argValues.size()]));
    }

   添加没有被我们覆盖的其他默认参数

// Add properties from the .props file that are not overridden on the command line
    for (String key : mainProps.stringPropertyNames()) {

       //举例配置文件中内容为

      String[] argNamePair = key.split("\\|");

      //简写参数及长写参数
      String shortArg = '-' + argNamePair[0].trim();
      String longArg = argNamePair.length < 2 ? null : "--" + argNamePair[1].trim();

     //如果传递命令参数中不包含该参数，添加进处理的参数集合中
      if (!argMap.containsKey(shortArg) && (longArg == null || !argMap.containsKey(longArg))) {
        argMap.put(longArg, new String[] {mainProps.getProperty(key)});
      }
    }

 // Now add command-line args
    List<String> argsList = Lists.newArrayList();
    argsList.add(progName);
    for (Map.Entry<String,String[]> entry : argMap.entrySet()) {
      String arg = entry.getKey();
      if (arg.startsWith("-D")) { // arg is -Dkey - if value for this !isEmpty(), then arg -> -Dkey + "=" + value
        String[] argValues = entry.getValue();
        if (argValues.length > 0 && !argValues[0].trim().isEmpty()) {
          arg += '=' + argValues[0].trim();
        }
        argsList.add(1, arg);
      } else {
        argsList.add(arg);
        for (String argValue : Arrays.asList(argMap.get(arg))) {
          if (!argValue.isEmpty()) {
            argsList.add(argValue);
          }
        }
      }
    }

programDriver.driver(argsList.toArray(new String[argsList.size()]));

 

 

          printUsage,打印Treemap<ProgramDescription>中的全部描述信息 

          addClass 创建ProgramDescription 并接添加进treemap当中

          driver(String[] args) 通过args[0] 取到 ProgramDescription  反射调用指定类的main方法并接传递参数

    }

      throws Throwable {
      try {
        main.invoke(null, new Object[]{args});
      } catch (InvocationTargetException except) {
        throw except.getCause();
      }
    }