`
kanpiaoxue
  • 浏览: 1781455 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

hbase插入记录报错KeyValue size too large

 
阅读更多

今天向hbase里面插入一条记录的时候报错:KeyValue size too large

查了网上的内容,hbase对kv的默认大小是 10485760字节,也就是 10M。

我看了一下自己插入的value的大小是130M,远远大于这个默认值。

怎么解决呢?

 

org.apache.hadoop.conf.Configuration configuration = HBaseConfiguration.create();
// 设置keyvalue.maxsize的大小限制,这里设置500M = 500*1024*1024
configuration.set("hbase.client.keyvalue.maxsize", "524288000");
// --- 其他配置

客户端里面配置即可,如上面的代码。

这个配置也可以在hbase服务器端配置,但是要重启hbase。

参考内容:

1、https://stackoverflow.com/questions/29819266/hbase-keyvalue-size-too-large

2、https://blog.csdn.net/u010476994/article/details/78436858

分享到:
评论

相关推荐

    python3使用thrift操作hbase hbase-thirft报错解决

    python连接hbase需要用到hbase-thirft类库,但是hbase-thirft只在python2下能正常使用,如果在python3下,会报错,主要有一下几个错误 except IOError, io: SyntaxError: invalid syntax ModuleNotFoundError: No ...

    hadoop ,hbase,zookeeper错误日志及相关应对措施

    hadoop、hbase、zookeeper错误日志及相关应对措施 本文将对hadoop、hbase和zookeeper的错误日志进行总结和分析,并提供相关的应对措施,以帮助读者更好地理解和解决这些错误。 Hadoop-0.20.2 & hbase-0.90.1 集群...

    python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错

    python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题

    python3 Hbase报错解决

    python3中直接安装hbase-thrift模块时,import会报Except语法错误 将资源解压后的Hbase.py和ttypes.py两个文件替换至site-packages/hbase/目录下即可解决

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据).pdf

    在本文档中,我们将深入探讨如何使用Java API与HBase数据库进行交互,特别是关于如何创建表、修改表结构以及批量插入数据。HBase是Apache的一个分布式、可扩展的大数据存储系统,它基于谷歌的Bigtable设计,适用于...

    hbase源码包和测试用例

    HBase提供了高效的实时读写能力,支持海量数据的快速插入和查询。它的主键(Row Key)设计允许用户根据唯一标识快速定位数据,配合Column Family和Timestamp,实现细粒度的版本控制。 4. **源码分析** HBase的...

    sqoop把mysql数据导入hbase2.1.6

    2. `--hbase-row-key`:定义HBase行键,它是HBase中的唯一标识符。默认情况下,Sqoop会选择`split-by`列作为row key,如果没有指定`split-by`,则会尝试识别主键。对于复合主键,需用逗号分隔各个属性,并在它们之间...

    hadoop zookeeper hbase 的安装

    详细的讲述了hadoop的安装,zookeeper的安装,还有hbase的安装,每一步都非常的详细,按照我的粘贴就行

    hbase的rowkey设计与hbase的协处理器运用.docx

    HBase RowKey 设计与协处理器运用 HBase 是一个基于 HDFS 的分布式、面向列的 NoSQL 数据库,具有高性能、可靠性和扩展性等特点。本文将详细介绍 HBase 的 RowKey 设计和协处理器运用。 HBase 的介绍 HBase 是一...

    HbaseTemplate 操作hbase

    5. **其他操作**:除了上述方法,HbaseTemplate还提供了插入(put)、删除(delete)和更新(update)等操作。例如,`put`方法用于向表中写入新的数据,`delete`方法根据行键删除一行,`update`方法则可以更新已有...

    hbase入门和使用

    HBase入门和使用知识点总结: 1. HBase基本介绍: HBase是建立在Hadoop文件系统(HDFS)之上的一种开源、分布式、可扩展的非关系型数据库。它是一种列式存储系统,模仿Google的Bigtable模型,适用于海量数据的实时...

    Java操作Hbase进行建表、删表以及对数据进行增删改查

    import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.MasterNotRunningException; import org.apache.hadoop.hbase.ZooKeeperConnectionException; import org.apache.hadoop.hbase.client....

    CDH使用Solr实现HBase二级索引.docx

    这是因为 HBase 是基于 Key-Value 的存储方式,查询时需要遍历整个表。为了提高查询性能,可以使用二级索引来索引数据。Solr 是一个流行的搜索平台,具有强大的查询和索引能力。通过将 HBase 与 Solr 集成,可以实现...

    HBase性能优化方法总结

    2. **Key设计**:合理设计Row Key,避免Row Key hotspot现象,可以考虑添加时间戳前缀或者哈希值。 3. **反范式设计**:在需要高效查询的场景下,可以适当引入冗余数据,避免多次JOIN操作。 四、查询优化 1. **过滤...

    HBase开启审计日志

    为了验证审计日志功能是否正常工作,可以执行一些基本的HBase命令,例如创建表、插入数据、删除表等操作,并检查审计日志中是否有相应的记录。 - **示例操作**: ```shell hbase(main):010:0*create'ft','c1','c2...

    Hbase实验报告.pdf

    HBase的数据插入通过`put`命令完成。例如,向表中添加“zhangsan”的数据: ```shell put 'student', 'zhangsan', 'info:address', 'guangdong' put 'student', 'zhangsan', 'info:province', 'guangzhou' put '...

    hbase-2.4.11-bin.tar.gz

    在HBase中,数据存储在表中,每个表由行键(Row Key)、列族(Column Family)、列限定符(Column Qualifier)和时间戳(Timestamp)四部分组成。这种结构使得HBase非常适合处理大规模稀疏数据集。 HBase的2.4.11...

Global site tag (gtag.js) - Google Analytics