Hive连接超长Hbase宽表异常

我们用Hive去连接一个Hbase款表，大概有150多个字段。

因此，就报了异常：

FAILED: Error in metadata: MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?)

NestedThrowables:

org.datanucleus.store.mapped.exceptions.MappedDatastoreException: INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?) )

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

 

后来翻了墙，查了谷歌度娘，发现了原因。

在hive元数据中，存放serde信息的是一个varchar(4000)的字段，为了兼容oracle。

但是超过4000个字段怎么办？

 

目前使用的是mysql数据库，解决方法是将字段扩充成30000如下：

mysql> desc SERDE_PARAMS;

+-------------+---------------+------+-----+---------+-------+

| Field       | Type          | Null | Key | Default | Extra |

+-------------+---------------+------+-----+---------+-------+

| SERDE_ID    | bigint(20)    | NO   | PRI | NULL    |       |

| PARAM_KEY   | varchar(256)  | NO   | PRI | NULL    |       |

| PARAM_VALUE | varchar(4000) | YES  |     | NULL    |       |

+-------------+---------------+------+-----+---------+-------+

3 rows in set (0.03 sec)

 

mysql> alter table SERDE_PARAMS modify column PARAM_VALUE varchar(30000);

Query OK, 447 rows affected (0.86 sec)

Records: 447  Duplicates: 0  Warnings: 0

 

mysql> desc SERDE_PARAMS;

+-------------+----------------+------+-----+---------+-------+

| Field       | Type           | Null | Key | Default | Extra |

+-------------+----------------+------+-----+---------+-------+

| SERDE_ID    | bigint(20)     | NO   | PRI | NULL    |       |

| PARAM_KEY   | varchar(256)   | NO   | PRI | NULL    |       |

| PARAM_VALUE | varchar(30000) | YES  |     | NULL    |       |

+-------------+----------------+------+-----+---------+-------+

3 rows in set (0.08 sec)  

 

异常解决。

但是只能暂时解决MySQL库中的问题，加入元数据存在其他库，则还会存在这样的问题。