信息无障碍通道
您的位置:首页>>互联网

PingCAP 开源分布式数据库 TiDB 论文入选 VLDB

发布时间:2020-09-04  来源:互联网   背景: 无障碍通道

  8 月 31 日-9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团队的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020,成为业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。PingCAP 联合创始人、CTO 黄东旭获邀在会上进行演讲,分享关于论文的深度解读及在线答疑。

  VLDB(International Conference on Very Large Databases)是数据库领域顶尖的三大学术会议之一,于 1975 年在美国成立,由非盈利性机构 VLDB 基金会赞助和运营,以在全球普及数据库技术研究和交流作为使命。

  在本篇论文中,PingCAP 重点介绍了其研发的 TiDB 作为一款定位于在线事务处理和在线实时分析(HTAP)混合负载融合型分布式数据库产品的系统架构和核心特性。TiDB 受 Google 发布的 Spanner / F1 论文 ,以及 2014 年 Stanford 工业级分布式一致性协议算法 Raft 论文的启发。经过 5 年多的产品研发、生产环境上线验证,取得了一系列成果,此次被 VLDB 2020 收录也是对学术界的反哺。

  HTAP(Hybrid Transactional / Analytical Processing) 是近些年为数据库界所关注的研究方向。HTAP 数据库需要能够同时兼具处理交易以及分析两种作业的能力,这使得交易数据能够被实时分析,大大缩短决策的周期,同时大幅简化平台架构。

  但是 HTAP 能力并不容易构建:交易业务需要行存,分析业务仰赖列存,且列存往往难于实时更新。以往的分析平台往往需要将数据从行存的交易库向列存的分析库进行数据迁移,这使得我们的数据分析往往基于历史数据。现今越来越多的用户不再满足于基于对历史数据进行分析,而是希望能用更新鲜的数据支持决策。例如生鲜零售业,基于更新鲜的数据进行物流调度可以大大减少货损。

  技术上来说,Real-time HTAP 并不容易实现。首先,数据库需要同时具备行存和列存两种能力;并且列存需要能实时反映行存的变更;最后,两种业务需要能互相之间无干扰运行。

  TiDB 最新版本中引入了专为 Real-time HTAP 场景设计的以 Raft 为基础的行列混合体系。本论文也是以这个架构为主轴来阐述其独特之处。

  TiDB 为支持 Real-time HTAP 架构实现了:

  可实时更新的列存。与传统的列存不同,TiDB 实现了一套可实时根据主键更新的列存引擎,并使用了与 TiKV 的 LSM 不同的 DeltaTree 设计,避免了范围读取下 LSM 多路归并负担过重的问题。

  通过以 Raft Learner 角色加入 Multi-Raft 副本体系,以异步的方式进行从行到列的数据复制,以求尽最小化对在线交易业务的影响。同时,虽然是异步复制,通过共识协议的 Learner Read 算法,TiFlash 仍然可以提供一致性的读取效果。

  通过与行存一致的代价估算模型,TiDB 可以智能选取行存,列存或者混合的方式响应查询,以期获得最佳性能。

  以上是 TiDB HTAP 架构图,与以往不同的是,新的架构下增加了 TiFlash 列式存储节点。通过 Raft 共识算法进行复制,每个 Region 可以拥有行存和列存两种副本,而用户查询会根据统计信息和代价估算自动选择副本类型。

  TiDB 创新性地利用 Raft 共识协议同时实现了行列混合,负载隔离,以及异步复制下的一致性读取,为 HTAP 架构设计提供了新的思路。PingCAP 联合创始人、CTO 黄东旭表示,我们相信,HTAP 将会随着业务对实时决策的需求不断增加而越来越普及,与此同时,希望我们的探索可以启发其他数据库开发者。

  TiDB 目前已经有近 1000 家海内外头部公司用户将其用于线上生产环境,涉及互联网、游戏、银行、保险、证券、航空、制造业、电信、新零售、政府等多个行业。包括国内的光大银行、北京银行、微众银行、美团点评、中通快递、知乎、爱奇艺等;海外用户如日本最大的支付公司 Paypay,视频公司 U-Next, 越南的独角兽 VNG,以及支付公司 ZaloPay,印度的 Zomato,BookMyShow,东南亚最大的电商 Shopee,法国视频互联网公司 Dailymotion 等,目前已经成为业内的分布式数据库事实标准。

  本文于 2020 年八月的 PVLDB, Volume 13, Issue 12 刊登。论文下载地址:http://www.vldb.org/pvldb/vol13/p3072-huang.pdf

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
坚果G9适合家用吗?和当贝F1谁的性价比更高?看完你就明白了
最近投影市场又上了不少新品,这让很多选购者一时间慌了阵脚,虽说投影种类繁多,而且机型复杂,但是只...
日期:09-04
PingCAP 开源分布式数据库 TiDB 论文入选 VLDB
8 月 31 日-9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团...
日期:09-04
海信发布最“潮”电视:支持1T私有云、千人云视频、325°全景看家……
9月3日,海信全新一代社交电视S7F在天漠音乐节首发,凭借325°全景云台摄像头、1T家庭私有云、千...
日期:09-04
2020 IFA产品技术创新大奖榜单发布
疫情引起的多米诺骨牌效应仍在持续,全球消费电子产业面临挑战。但是,危机也是发展之机,受“...
日期:09-04
黑客借“疫”打劫,一封邮件就可能瞬间攻陷企业内网
相比于广撒网式的盲目攻击,针对政府、企业等高价值目标进行精准打击,成为当下网络攻击演变的新趋...
日期:09-04
微盟智营销上线“行为分析”模型精绘用户画像
在企业数字化转型的进程中,企业数据资产的价值开始日益显现。于企业而言,想要在每天无数商业活动所...
日期:09-04
智驾科技与安霸携手,量产汽车前装ADAS视觉感知方案
2020年8月28日,中国上海,Ambarella(下称”安霸半导体”)公司(纳斯达克股票代码:AMBA,...
日期:09-04
海信社交电视:我来重新定义这块屏!
一年前,中国电视领导者海信推出了全新的社交电视,并断言:这才是未来电视!一年之后的9月3日,海信...
日期:09-04
AI赋能华文教育,云知声携手华侨大学成立“智慧华文教育产教融合创新中心”
9月2日,华侨大学60周年校庆倒计时60天之际,云知声与华侨大学正式签署战略合作协议。根据协议,双...
日期:09-04
IBM借助 AI 与混合云,为首届“无观众”美网公开赛开创观球新体验
通过基于开放混合云架构的 IBM Watson,IBM 携手 USTA 为广大球迷提供远程交流论坛及切实的赛场评析,...
日期:09-04
打造无限可能的数字时代!谈谈大数据在零售行业中的应用
随着大数据的发展,数据挖掘在零售领域中的运用正逐步显现,通过对大量的数据进行探索和分析,揭示...
日期:09-04
TrendForce 世界前十大 IC 设计厂商公布:华为海思跌出十强,将发布最后的麒麟 9000 处理器
TrendForce 旗下拓璞产业研究院日前公布世界前十 IC 设计厂商,博通公司位居第一,高通公司退居第二...
日期:09-03
TCL成第二届“湾高赛”焦点,向业界展示最新量子点技术研发与创新成果
量子点是近年来比较火热的一种前沿性创新显示技术。量子点又称为纳米晶体,通过控制晶体尺寸就可以...
日期:09-03
Wyn Enterprise推出进阶技术培训,专注商业智能实例及高级功能
2020年8月,西安葡萄城软件有限公司(以下简称葡萄城软件)的首场商业智能和报表进阶技术培训在古城西...
日期:09-03
网络机顶盒十大排名:电视盒子买前必看!
今天给大家带来网络机顶盒的十大排名,对本年度十款性能出色的网络机顶盒做一个盘点,虽然今年进度条...
日期:09-03
锁中贵族,彰显黑武士魅力|欧瑞博智能门锁S2霸气来袭
9月3日,全宅智能家居领导品牌欧瑞博隆重推出新一代双核智能门锁S2 ,无论是从外观设计、材质还是黑...
日期:09-03
华为小米联想相继公布2020年上半年业绩,京东成最大赢家
日前,华为、小米、联想等中国29家电子、家电公司相继发布2020年上半年财报信息,总体来看,其营收...
日期:09-03
融云首届“IM+RTC”Hackthon大赛启动 开发者线上PK争霸
近日,Geek Online 2020编程大赛开启官网报名通道,大赛报名时间为8月24日-10月11日。该项赛事的主...
日期:09-03
鲁大师8月新发布手机流畅榜:小米 vs 三星,谁打赢了?
8月安卓新发布手机流畅榜数据来自鲁大师安卓APP 08.01日-08.31日的数据,榜单只筛选在这期间新发布...
日期:09-03
想要体验更加便捷的操作?ColorOS智能侧边栏值得拥有!
手机作为我们日常重要的通讯设备,除了能够打电话,拍照等其他用途之外,它还可以帮助我们处理更多...
日期:09-03
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :