概述
摘要: 安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。 在Flume配置文件中，我们需要- 命名当前代理的组件。 描述/配置源。 描述/配置接收器。 ...
|
安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。
在Flume配置文件中，我们需要-
命名当前代理的组件。
描述/配置源。
描述/配置接收器。
描述/配置通道。
将源和接收器绑定到通道。
通常我们可以在Flume中有多个代理。我们可以使用唯一的名称来区分每个代理。并使用这个名称，我们必须配置每个代理。
命名组件
首先，您需要命名/列出组件，如源，接收器和代理的通道，如下所示。
Flume支持各种源，接收器和通道。它们列在下面给出的表中。
您可以使用它们中的任何一个。例如，如果你正在传输使用Twitter源通过一个内存通道到HDFS沉Twitter数据，并代理名称ID?TwitterAgent，然后
列出代理的组件后，必须通过向其属性提供值来描述源，接收器和通道。
描述源
每个源都将有一个单独的属性列表。名为“type”的属性对每个源都是通用的，它用于指定我们使用的源的类型。
随着属性“类型”，它是需要提供所有的值所需的特定源的属性来进行配置，如下所示。
例如，如果我们考虑到Twitter的来源，以下是属性，这是我们必须提供值来配置它。
描述水槽
就像源，每个sink将有一个单独的属性列表。名为“type”的属性对每个sink都是通用的，它用于指定我们使用的sink的类型。随着属性“类型”，它是需要提供的值的所有所需的特定水槽的属性来进行配置，如下所示。
例如，如果我们考虑HDFS下沉，下面是属性，这是我们必须提供值来配置它。
描述频道
Flume提供各种通道在源和汇之间传输数据。因此，与源和信道一起，需要描述在代理中使用的信道。
要描述每个通道，您需要设置所需的属性，如下所示。
例如，如果我们考虑内存通道，下面是属性，这是我们必须提供值来配置它。
将源和信道绑定到信道
由于通道连接源和汇，因此需要将它们都绑定到通道，如下所示。
以下示例显示如何将源和接收器绑定到通道。在这里，我们考虑的Twitter源，内存通道，和HDFS下沉。
|
最后
以上就是沉静紫菜为你收集整理的《Apache Flume教程》第六章 Flum的配置和使用方法的全部内容，希望文章能够帮你解决《Apache Flume教程》第六章 Flum的配置和使用方法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复