hive中自定义RegexSerDe尝试

当原始数据中包好了诸如'\u0001'、'\u0002'、'\u0003'等hive默认的column分隔字符时，在select数据时就可能出现数据格式错乱的情况，为了避免这类现象，可以用自定义的RegexSerDe规避这类特殊字符。

 

例子：

ac18148213512592717614403|1351259272977|0.44|ulc|302|302^R670777442^RLBX001442114792309^R670777442^R2^R2??a±à??=KJ-0005,?ò?ònickangning^R^R^R^Rip^A^Rumid^A^RbuyerNick^Awnwangning^RStoreCode^AKJ-0005 

上面是一条原始数据，格式是traceId|time|rpcId|appName|queryKey|extendValue，extendValue是一个复合字段，可用字符'\u0018'(^R)劈成至少9列，前8列是意义固定，后面的每列是一个kv对，kv的分隔符是'\u0001'(^A)。

 

     对于这样的例子，如果尝试在创建hive表时存在如下指定：

     ROW FORMAT
     SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
     WITH SERDEPROPERTIES
    ( "input.regex" = "(.*)\\|(.*)\\|(.*)\\|(.*)\\|(.*)\\|(.*$)",
         "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s")

   然后在加载数据后做select时就会发现展现出来的最后一列在“ip”后面没有了。

   通过检验发现RegexSerDe按指定的正则切分完全正确，但hive在组装返回结果时会根据特殊字符（^A,^B,^C三种）做“二次切分”，因为例子中“ip”后面恰好有个^A所以被截断了，又因为"ip"所在的列是表的最后一列，所以"ip"后面的内容被直接丢掉了，否则会错位到表的下一列。

    解决的办法就是用自定义的MyRegexSerDe对特殊字符做简单替换，相比原RegexSerDe，只增加上一个简单逻辑：

for (int c = 0; c < numColumns; c++) {
      try {

        //对原数据的最后一列做特殊字符替换
        if (c == numColumns - 1) {
          row.set(c, m.group(c + 1).replace((char)1, ','));  
        } else {
          row.set(c, m.group(c + 1));
        }
      } catch (RuntimeException e) {
        partialMatchedRows++;
        if (partialMatchedRows >= nextPartialMatchedRows) {
          nextPartialMatchedRows = getNextNumberToDisplay(nextPartialMatchedRows);
          // Report the row
          LOG.warn("" + partialMatchedRows
              + " partially unmatched rows are found, " + " cannot find group "
              + c + ": " + rowText);
        }
        row.set(c, null);
      }
    }

   然后打包上传，执行hive sql时加载jar路径和指定自定义的RegexSerDe，问题得以解决。