java程序获取hive日志

 

       获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hive sql，并且把输出到控制台的日志保存到redis，其中kill job的命令日志用不同的key缓存到redis，如此可很方便获取查询结果、日志、kill命令。

   具体实现方式如下：

   修改hive-exec-0.12.0的如下几个类：

   1、org.apache.hadoop.hive.ql.Driver

   2、org.apache.hadoop.hive.ql.DriverContext

    3、org.apache.hadoop.hive.ql.exec.mr.ExecDriver

    4、org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper

    5、org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    在Driver的execute()方法开始执行时以sql的MD5值作为key缓存到redis，redis的数据结构采用list，并且在DriverContext中增加一个sqlMD5的属性，通过driver上下文对象在后续的ExecDriver、HadoopJobExecHelper和MapRedTask中实现共享。

   在执行sql和生成的MR过程中参数的日志不断存入到redis，页面可通过ajax的方式每隔1秒从应用服务端获取1次hive日志，应用服务端根据sql的MD5值从redis读取日志信息，读一条删一条。 使用 redisUtils.rpush(key,value);写入，用redisUtils.lpop(key);这样写进去的取出来的时候，redis就清空了
   可通过sql的MD5值加一个后缀的方式单独缓存kill MR job的cmd命令，这样业务应用可以很方便的获取到kill命令，停止hive。
   redis的服务ip配置到hive-site.xml中。
   该方式有一些问题，比如：如果同时多次执行同一个sql，则会导致日志信息相互干扰，有一些应用场景的限制。