您好,欢迎来到[编程问答]网站首页   源码下载   电子书籍   软件下载   专题
当前位置:首页 >> 编程问答 >> 云计算 >> 消费kafka数据放到hbase,并在elasticsearch建二级索引

消费kafka数据放到hbase,并在elasticsearch建二级索引

来源:网络整理     时间:2017/5/11 0:32:56     关键词:

关于网友提出的“ 消费kafka数据放到hbase,并在elasticsearch建二级索引”问题疑问,本网通过在网上对“ 消费kafka数据放到hbase,并在elasticsearch建二级索引”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题: 消费kafka数据放到hbase,并在elasticsearch建二级索引
描述:

新手请教大神们:
为保证数据比较实时进入hbase,在消费kafka处理数据后直接把数据放到hbase(不放到hdfs了)。
把数据放到hbase的同时,在es建二级索引。
请问这种设计是否合理,有什么问题?


解决方案1:

引用 2 楼 mcmoo 的回复:
Quote: 引用 1 楼 link0007 的回复:

你是想实现HBase二级索引?Phoenix可以做到,而且可以SQL查询HBase。
ES本身就可以存储数据,直接存ES不好么

谢谢!
ES虽然本身可以存储,但是更适合搜索和分析小规模数据,要实现复杂的业务也不好做,而且量大成本会很高。因此结合两者,使用elasticsearch建立hbase的相关查询列的索引,提高hbase基于列的查询效率。

你的意思是先在ES按条件搜索出rowkey,再从hbase读取?可以的。封装一下可以github一波
以上介绍了“ 消费kafka数据放到hbase,并在elasticsearch建二级索引”的问题解答,希望对有需要的网友有所帮助。
本文网址链接:http://www.codes51.com/itwd/4314155.html

相关图片

相关文章