Flink核心抽象三数据转换

74 阅读 0 评论 49 点赞

我是靠谱客的博主哭泣网络，最近开发中收集的这篇文章主要介绍Flink核心抽象三数据转换，觉得挺不错的，现在分享给大家，希望可以做个参考。

Transformation在Flink中被称为数据转换，Transformation面向Flink内核，DataStream面向开发者。

Transformation有两大类，物理Transformation和虚拟Transformation

Transformation是顶层的抽象，在所有物理的Transformation都是继承PhysicalTransformation

其他的类型的Transformation均为虚拟Transformation。

Transformation包含Flink运行时的重要参数

转换器的名字，主要用于Web UI的可视化

用户指定的uid，在job重启时再次分配和之前相同的uid，可以持久保存状态

buffer超时时间

并行度

和属性uid无关，生成方式基于静态累加器

public Transformation(String name, TypeInformation<T> outputType, int parallelism) {
   this.id = getNewNodeId

以上就是哭泣网络为你收集整理的Flink核心抽象三数据转换的全部内容，希望文章能够帮你解决Flink核心抽象三数据转换所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。