欲知未来技术趋势，且看腾讯阿里押宝何处

  作者：范晨云，张凌宇 

    近期，腾讯云在他的数据库产品中增加了一个选项——HTAP数据库。

    这对于大多数中国用户来讲还是一个比较陌生的概念，所谓HTAP，即Hybrid transaction/analytical processing，是由Gartner最早在2014年提出的概念，简单来说，就是一个数据库既能支持在线事务处理（OLTP），又能支持在线分析处理（OLAP）。在传统的数据库领域，这两套系统是分隔开来的，因此通常需要在一天的经营结束后将在线事务处理的数据与往期分析处理的数据一起导入至数据仓库后运行分析，以生成相应的报表。在HTAP数据库中，则省去了大规模数据搬移的时间与运营成本，一站式解决大部分企业级应用的需求，并在交易结束当天同步出具T+0的分析报告。

    腾讯云的HTAP数据库底层基于国内一家开源数据库TiDB，支持强一致性的分布式事务，在线弹性扩容，异地多活及自动故障恢复，同时兼容 MySQL 协议。

    同样类型的产品作为DBaaS，在国内版本的阿里云上也存在，叫做HybridDB for MySQL（原PetaData）。阿里在2016年底的云栖大会上第一次宣告PetaData这个HTAP数据库的诞生，直到2017年才将其产品化放入阿里云产品线，更名为HybridDB for MySQL。它同时支持OLTP和OLAP。采用一份数据存储来进行OLTP和OLAP处理，解决了以往需要把一份数据进行多次复制来分别进行业务交易和数据分析的问题，极大的降低了数据存储的成本。与TiDB一样，他也兼容MySQL语法及函数。

    而HTAP这样创新性的架构，对于易鲸捷来讲，却是从2015年就习以为常并广泛推动的产品。

    易鲸捷主营的数据库产品EsgynDB从诞生伊始，就带着传统关系型数据库强大的SQL引擎，企业级数据仓库的处理能力，及基于Hadoop的分布式存储线性扩展等基因，成为全球少数几个最先开始尝试HTAP架构数据库的企业之一。EsgynDB基于Apache顶级开源项目Apache Trafodion，拥有相当成熟的SQL引擎，其历史可追溯到1984年天腾公司的NonStop SQL，经过三十多年的发展，虽然经历了天腾、康柏、惠普、易鲸捷等不同公司不同产品的更迭，SQL引擎却变得越来越成熟，无论在北美，还是在中国，都有基于该产品的大量企业级用户。

    2015年，易鲸捷正式成立，也真正开始了以HTAP为目标的产品完善。经过三年打磨，HTAP概念终于在中国被互联网巨头所关注，并极力推入他们的产品线，而易鲸捷数据库已将该技术沉淀了三年之久，等待厚积薄发。

    虽然大家都是HTAP的概念，但EsgynDB又与这两家互联网巨头推出的HTAP数据库有所不同。

    TiDB底层存储叫做TiKV，是一个分布式的提供事务的 Key-Value 存储引擎，SQL引擎在TiDB Server端完成。他从存储到计算，全由自身开发完成，与流行的Hadoop生态圈没有多大关系。TiDB本身是兼容MySQL，以处理OLTP场景为目标的数据库产品，而另外一个产品TiSpark借助Spark平台去解决OLAP的需求。底层存储是一个，而上层针对不同场景的处理引擎是分开的，他们将其结合起来形成一个新的HTAP解决方案，但从本质上来讲，还是属于两个产品。

    阿里云上的HybridDB for MySQL。链路引擎是HybridDB for MySQL的创新之一。用户来自数据链路层的SQL经过链路引擎解析、优化之后，生成相应的执行计划：对于简单查询场景，例如简单聚合的查询场景，直接将计算推至存储节点执行，若查询较复杂则直接由计算引擎生成相关计划树并执行。同时将数据按照内建规则进行分库分表操作。再往下的计算和存储引擎分开，各司其职。这样做可能存在的问题是，当查询维度改变，SQL的执行性能可能变差。另外，与TiDB一样，HybridDB for MySQL也脱离了主流Hadoop生态圈，形成他自己的一套架构，并且闭源。

    腾讯和阿里这两个号称HTAP的数据库，底层的存储都是自行研发，且在实践中被运用和证明的时间都不长。而EsgynDB底层基于Hadoop，其开源版本是在2017年底刚从Apache毕业成为顶级项目（TLP）的Trafodion。

    众所周知，Hadoop的雏形源于2002年，在2006年由Doug Cutting带领真正发展起来，2008年Hadoop正式开始商业化，成为大数据领域不可或缺的一部分。经过10多年打磨，越来越多企业开始基于Hadoop建立自己的大数据平台，处理各种海量数据的应用。国内一家电信运营商巨头更是明确表示，要将原先运行在Teradata、Oracle、GBase上的一些大数据分析应用全都移植到大型的Hadoop集群上，为其技术符合主流发展趋势。用户量及为此贡献的开发人员数量的巨大，奠定了Hadoop是目前主流的开源大数据基础架构。通常情况下，当一个解决方案占据行业内50%以上的市场份额后，就会成为行业中的主导设计，例如个人电脑领域的Wintel架构，又或者微软word的Doc格式，IPhone开创性的智能手机生态等，都在占据较大的市场份额后成为行业标准，反过来进一步加快其在行业中的推广速度，产生规模经济效应并催生配套的生态系统。

    Apache社区本身的影响力以及Hadoop在大数据领域的广泛应用和历史积累，决定了EsgynDB主流开源的道路。无论是开源Hadoop本身来自全世界的代码贡献量，还是Trafodion社区的力量，都给EsgynDB这么一个HTAP数据库带来强大的技术基础。从技术上来讲，EsgynDB的SQL引擎只有一个，底层存储使用HBase和ORC等，之间实现自动冷热数据同步，从而同时处理OLTP和OLAP，无须安装不同的产品已迎合不同的应用场景，使用户真正使用一个数据库来解决多个应用的需求。

    大数据时代，群雄逐鹿，究竟谁可以真正在企业关键业务中使用HTAP，占据HTAP主要市场份额，我们拭目以待。