• >
主页 > 辉哥彩色印刷图库 >
辉哥彩色印刷图库
阿里Blink SQL关键技术及实现原理_科技频道_东方头条
发布日期:2019-11-01 15:54   来源:未知   阅读:

介绍Blink SQL的几个关键技术,以及实现原理,并通过两个实例来阐述具体的功能效果。

什么是BlinkSQL

传统数据库表有两个最明显的特征schema和data,流同样也有schema和data,另外还有一个重要属性time,随着时间的推移数据会不断涌入流中。

五个概念和一个实现

六个特点和背景介绍

Blink作为一个纯流式的计算平台,具备秒级甚至毫秒级的延时,能够快速容错,比如在某个计算节点挂掉的时候可以快速恢复。它还支持动态扩容,针对流计算场景做了大量优化,具备高吞吐和高资源利用率的极致性能,同时解决了非常明显的数据乱序的问题,并且支持大数据量的流计算请求。

上图展示的是一个携带时间戳和用户名的点击事件流,我们先对这些事件流进行流式统计,同时在最后的流事件上触发批计算。流计算中每接收一个数据都会触发一个结果,可以看到最后的事件无论是在流还是批上计算结果都是6。这说明只要SQL语句和数据源相同,流和批的计算结果就不会存在差异。相同的SQL在流和批这两种模式下,语义相同,最终结果就会一致。

1. 流表对偶性

流表对偶性是指流表转换信息无损,具有对偶性。

虽然SQL被更多的用于批处理,但是在流计算场景下同样也适用。从处理的数据集合来看,流处理的数据是无穷的,而批处理面对的是有限集合。从内部处理逻辑来看,批处理是单次作业,流处理的运作持续不断,并且会对历史数据进行修正。

BlinkSQL是在FlinkSQL基础上新增了大量的丰富功能和性能优化。SQL作为声明式的可优化的语言具备很大的优势,Blink的SQL查询优化器会对用户SQL进行优化,制定最优的执行计划以获取高性能。同时SQL易于理解,用它编写的业务逻辑清晰明了。

(Blink架构)

网站首页  | 本港台现场直播开码  | 六分传说心水报  | 平特一肖公式规律软件  | 小鱼玄机2站ok545  | 辉哥彩色印刷图库