我是靠谱客的博主 强健发夹,最近开发中收集的这篇文章主要介绍【18】Flink 之 支持的DataType和序列化1、Flink支持的DataType2、Flink 的序列化,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

1、Flink支持的DataType

  1. Java Tuple 和 Scala case class
  2. Java POJOs:java实体类
      - Primitive Types
       默认支持java和scala基本数据类型
      - General Class Types
       默认支持大多数java和scala class
      - Hadoop Writables
       支持hadoop中实现了org.apache.hadoop.Writable的数据类型
      Special Types
       例如scala中的Either Option 和Try

2、Flink 的序列化

  1. Flink自带了针对诸如int,long,String等标准类型的序列化器
  2. 针对Flink无法实现序列化的数据类型,我们可以交给Avro和Kryo
      使用方法如下:
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

  使用avro序列化:

env.getConfig().enableForceAvro();

  使用kryo序列化:

env.getConfig().enableForceKryo();

  使用自定义序列化:

env.getConfig().addDefaultKryoSerializer(Class<?> type, Class<? extends Serializer<?>> serializerClass)

Flink-1.6特殊序列化器官方文档


下一篇:【19】Flink 实战案例开发(一):数据清洗

最后

以上就是强健发夹为你收集整理的【18】Flink 之 支持的DataType和序列化1、Flink支持的DataType2、Flink 的序列化的全部内容,希望文章能够帮你解决【18】Flink 之 支持的DataType和序列化1、Flink支持的DataType2、Flink 的序列化所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(45)

评论列表共有 0 条评论

立即
投稿
返回
顶部