我是靠谱客的博主 孝顺发卡,最近开发中收集的这篇文章主要介绍Flink 流处理 API_支持的数据类型,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

Flink 流应用程序处理的是以数据对象表示的事件流。所以在 Flink 内部,我们需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点,Flink 需要明确知道应用程序所处理的数据类型。Flink 使用类型信息的概念来表示数据类型,并为每个数据类型生成特定的序列化器、反序列化器和比较器。

Flink 还具有一个类型提取系统,该系统分析函数的输入和返回类型,以自动获取类型信息,从而获得序列化器和反序列化器。但是,在某些情况下,例如 lambda 函数或泛型类型,需要显式地提供类型信息,才能使应用程序正常工作或提高其性能。

Flink 支持 Java 和 Scala 中所有常见数据类型。使用最广泛的类型有以下几种。

 

1 基础数据类型

Flink 支持所有的 Java 和 Scala 基础数据类型,Int, Double, Long, String, …

val numbers: DataStream[Long] = env.fromElements(1L, 2L, 3L, 4L) numbers.map( n => n + 1 )

 

2.Java 和 Scala 元组(Tuples)

val persons: DataStream[(String, Integer)] = env.fromElements(  

("Adam", 17),  

("Sarah", 23) )  persons.filter(p => p._2 > 18)

 

3 Scala 样例类(case classes)

 

case class Person(name: String, age: Int)  

val persons: DataStream[Person] = env.fromElements(

Person("Adam", 17),  

Person("Sarah", 23) ) persons.filter(p => p.age > 18)

 

4. Java 简单对象(POJOs

public class Person { 
    public String name; 
    public int age;   
    public Person() {}   
    public Person(String name, int age) {  
    this.name = name;       this.age = age;   
    } 

DataStream<Person> persons = env.fromElements(  new Person("Alex", 42),  new Person("Wendy", 23)); 

 

5 其它(Arrays, Lists, Maps, Enums, 等等)

Flink 对 Java 和 Scala 中的一些特殊目的的类型也都是支持的,比如 Java 的

ArrayList,HashMap,Enum 等等。

最后

以上就是孝顺发卡为你收集整理的Flink 流处理 API_支持的数据类型的全部内容,希望文章能够帮你解决Flink 流处理 API_支持的数据类型所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(31)

评论列表共有 0 条评论

立即
投稿
返回
顶部