• 大数据人官方¢Ú群

    大数据人|中国大数据第一社区

     ?#19968;?#23494;码
     注册会员

    扫一扫£¬访问微社区

    Hadoop生态新增列式存储系统Kudu

    2016-6-18 20:19| 发布者: admin| 查看: 25829| 评论: 0|原作者: 董西成

    摘要: Hadoop生态系统发展到现在£¬存储层主要由HDFS和HBase两个系统把持着£¬一直没有太大突破¡£在追求高吞吐的批处理场景下£¬我们选用HDFS£¬在追求低延迟£¬有随机?#21015;?#38656;求的场景下£¬我们选用HBase£¬那么是否存在一种系统£¬ ...

    Hadoop生态系统发展到现在£¬存储层主要由HDFS和HBase两个系统把持着£¬一直没有太大突破¡£在追求高吞吐的批处理场景下£¬我们选用HDFS£¬在追求低延迟£¬有随机?#21015;?#38656;求的场景下£¬我们选用HBase£¬那么是否存在一种系统£¬能结合两个系统优点£¬同时支持高吞吐率和低延迟呢£¿有人尝试修改HBase内核构造这样的系统£¬即保留HBase的数据模型£¬而将其底层存储部分改为纯列式存储£¨目前HBase只能算是列簇式存储引擎£©£¬但这?#20013;?#25913;难度较大¡£Kudu的出现有望解决这一难题¡£

    Kudu是Cloudera开源的列式存储引擎£¬具有以下几个特点£º

    • C++语言开发

    • 高效处理类OLAP负载

    • 与MapReduce£¬Spark以及Hadoop生态系统中其他组件进行友好集成

    • 可与Cloudera Impala集成£¬替代目前Impala常用的HDFS+Parquet组合

    • 灵活的一致性模型

    • 顺序写和随机写并存的场景下£¬仍能达到良好的性能

    • 高可用£¬使用Raft协议保证数据高可靠存储

    • 结构化数据模型

    Kudu的出现£¬有望解决目前Hadoop生态系统难以解决的一大类问题£¬?#28909;¼‚?/p>

    • 流式实时计算结果的更新

    • 时间序列相关应用£¬具体要求有£º

      • 查询海量历史数据

      • 查询个体数据£¬并要求快速返回

    • 预测模型中£¬周期性更新模型£¬并根据历史数据快速做出决策


    Kudu架构如下图所示£º

    目前Kudu处于beta版£¬仍在不断开发迭代中£¬不久将提交并成为Apache Software Foundation incubator£¬据有关资料介绍£¬国内小米参与了kudu的开发£¬并做出不少贡献¡£据小米首席架构师崔宝秋介绍£º¡°作为 Hadoop 生态系统的长期?#27809;?#21644;贡献者£¬小米在 Kudu 项目初期就开始了和 Cloudera 的?#29486;?#24320;发£¬并已经将 Kudu 独特的实时数据分析功能用到了小米业务中¡£¡±

    Kudu官方网站£ºhttp://getkudu.io

    Kudu源代码£ºhttps://github.com/cloudera/kudu


    鲜花

    ?#24080;?/a>

    雷人

    路过

    鸡蛋

    最新评论

    关闭

    站长推荐上一条 /2 下一条


    id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">?#25226;?/a>id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_forum_2" >社区BBSid="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

    QQ|广告服务|关于我们|鄂ICP备14012176号-2|Archiver|手机版|小黑屋|大数据人    

    GMT+8, 2019-3-21 23:56 , Processed in 0.483796 second(s), 21 queries .

    Powered by 小雄! X3.2

    © 2014-2016 bigdataer Inc.

    返回顶部
    ºÚÁú½­¿ìÀÖÊ®·Ö