V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Alias4ck
V2EX  ›  数据库

HIVE LOAD INTO HBASE

  •  
  •   Alias4ck · 2018-12-18 16:40:05 +08:00 · 995 次点击
    这是一个创建于 1927 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简单描述 ,我模拟了大概 1400 万的数据进行测试,参考了官方文档( https://cwiki.apache.org/confluence/display/Hive/HBaseBulkLoad) 从使用 HIVE 导入 HBASE 使用 BULKLOAD 的方式 在 MAPREDUCE 生成 HFILE 的过程出现了如下的 bug Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = \x5CN/f:agency_name/1545121508950/Put/vlen=12/seqid=0, lastCell = \x5CN/f:sk_tradaeacco_reg/1545121508950/Put/vlen=2/seqid=0 at org.apache.hadoop.hbase.io.hfile.AbstractHFileWriter.checkKey(AbstractHFileWriter.java:204) at org.apache.hadoop.hbase.io.hfile.HFileWriterV2.append(HFileWriterV2.java:265)

    在 google 了很多次的 问题描述 大多数 是说行健重复的问题,但我使用的行健是用自带的 ROW_SEQUENCE()生成的序列 (其他的分区 以及某些参数开启这些都做了),结果还是报这个错误。 希望有大佬来帮忙一下解决这个问题

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   946 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:30 · PVG 05:30 · LAX 14:30 · JFK 17:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.