HBase Ecosystem Introduction

HBase生态介绍

本文介绍了HBase生态系统，包括OpenTSDB（时序数据库）、Kylin（Cube分析）、Phoenix（SQL组件）和GeoMesa（时空数据）等组件，以及作者在贝壳找房的部署经验。

1.1 时序数据： OpenTSDB基于HBase，提供海量数据实时读写和聚合计算，常用于监控领域。

1.2 Cube分析： Kylin提供亚秒级多维分析。

1.3 SQL On HBase： Phoenix支持标准SQL和JDBC，可建立索引提升查询速度。

1.4 时空数据： GeoMesa提供大规模地理空间数据查询和分析。

2. 贝壳HBase的生态介绍

贝壳已部署Kylin实时分析服务、OpenTSDB集群监控存储、Phoenix SQL组件，GeoMesa暂未建设。

3. HBase时序数据存储目前情况

从2018年8月开始使用OpenTSDB存储Hadoop和HBase集群Metrics数据，HBase集群平均每秒处理3W请求。

4. HBase 2.0新特性介绍

2.0版本通过AssignmentManager V2、Offheapping、In-Memory Compaction等特性提升性能，仅使用原有一半内存。

5. OpenTSDB介绍

OpenTSDB基于HBase的可拓展时序数据读写服务，采用读写分离部署，需初始化表、开启随机映射等配置。

6.1 HBase相关配置

配置Offheap缓存、G1垃圾回收、堆外memstore等，提升读写性能。

6.2 In-Memory Compaction 配置

全局或表级开启BASIC、EAGER或ADAPTIVE策略，优化索引和清理冗余。

6.3 OpenTSDB相关配置

在opentsdb.conf中配置tag允许字符、随机映射等，提升读写性能。

7. 经验总结

遇到Netty buffer堆积问题，通过调整缓冲区大小解决；RIT问题可通过hbck2或重启Master修复；集群balance需切换HMaster节点。