今天共享的是:赵国祥:抖音集团大数据血统演进与应用
讲述系数:1页
抖音集团构建了全隐敝、概括化的全链路血统系统,旨在以通达才调赋能业务。其举座概览涵盖亿级实体数目、十亿级实体级血统数目和亿级算子级及列级血统数目。建立配景源于大数据链路复杂、数据任务变更世俗、保险数据安全及镌汰本钱等需求。血统举座链路包括数据集中、分娩、应用等门径,触及多种血统粒度。血统模子抽象为点和边,并狡计混杂血统存储模子。通过多项目标臆想血统质地,举座生态体系包含血分缘析居品和遵守器用箱等。系统架构面对精确领悟细粒度血统等挑战,惩办决议架构触及元数据链路等多方面,援救领悟做事基于Antlr + Calcite,血统接入做事惩办分娩、跨Region和应用端的血统问题。在应用场景方面,于数据诱惑中助力变更评估等,在数据治理里完结质地、本钱、安全等多方面保险,异日将鼓吹标准化、通达化、概括化,擢升效果、质地、安全及隐敝度,欺骗全链路血统数据更好地做事于数据料理各门径,擢升举座数据料理水慈祥业务价值。
以下为讲述节选实质
伸开剩余75% 发布于:广东省