【弄nèng - Kafka】应用篇（十一） —— Java Kafka API（多线程生产者）

56 阅读 0 评论 37 点赞

我是靠谱客的博主花痴小蘑菇，最近开发中收集的这篇文章主要介绍【弄nèng - Kafka】应用篇（十一） —— Java Kafka API（多线程生产者），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

文章目录

- 一. 简介
- 二. 实现
- - 2.1 引入依赖
  - 2.2 多线程生产者
- 源码地址
- 项目推荐

该篇博客是Kafka API的使用，多线程生产者
更多高级用法请看我的博客Kafka系列
参考：
https://www.orchome.com/189
https://www.w3cschool.cn/apache_kafka/apache_kafka_workflow.html

一. 简介

kafka概念相关的介绍请看官方文档和其他博文
官方中文文档
kafka入门介绍

为了提高Kafka吞吐量，在数据量比较大切对消息顺序没有要求的情况下，可以使用多线程生产者。
实现方式：实例化一个KafkaProducer对象在多线程中共享。KafkaProducer是线程安全的。

二. 实现

2.1 引入依赖

主要是spring-kafka依赖

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit-dep</artifactId>
            <version>4.9</version>
            <scope>test</scope>
        </dependency>
        
        <!-- kafka start -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <!-- kafka end -->

        <dependency>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.2-beta-5</version>
        </dependency>
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.3</version>
        </dependency>
        <dependency>
            <groupId>commons-collections</groupId>
            <artifactId>commons-collections</artifactId>
            <version>3.2.1</version>
        </dependency>
    </dependencies>

2.2 多线程生产者

生产者线程 KafkaProducerThread.java

import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

/**
 * 生产者线程
 */
public class KafkaProducerThread implements Runnable {

    private KafkaProducer<String, String> producer = null;

    private ProducerRecord<String, String> record = null;

    public KafkaProducerThread(KafkaProducer<String, String> producer, ProducerRecord<String, String> record) {
        this.producer = producer;
        this.record = record;
    }

    @Override
    public void run() {
        producer.send(record, new Callback() {

            @Override
            public void onCompletion(RecordMetadata metaData,
                                     Exception exception) {
                if (null != exception) {// 发送异常记录异常信息
                    System.out.println("Send message exception:" + exception);
                }
                if (null != metaData) {
                    System.out.println(String.format("offset:%s,partition:%s",
                            metaData.offset(), metaData.partition()));
                }
            }

        });
    }

}

生产者 MultiThreadProducer.java

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;


/**
 * 生产者--多线程
 */
public class MultiThreadProducer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        // 生产者
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);

        // 线程池
        ExecutorService executor = Executors.newFixedThreadPool(5);
        ProducerRecord<String, String> record;

        try {
            for (int i = 0; i < 10; i++) {
                record = new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i));
                executor.submit(new KafkaProducerThread(producer, record));
            }

            Thread.sleep(3000);
        } catch (Exception e) {
            System.out.println("Send message exception" + e);
        } finally {
            producer.close();
            executor.shutdown();
        }
    }
}

详细参数请参考：
http://www.shixinke.com/java/kafka-configuration
https://blog.csdn.net/xiaozhu_you/article/details/91493258

源码地址

IT-CLOUD-KAFKA-CLIENT :spring整合kafka教程源码。博文在本CSDN kafka系列中。

项目推荐

IT-CLOUD :IT服务管理平台，集成基础服务，中间件服务，监控告警服务等。
IT-CLOUD-ACTIVITI6 :Activiti教程源码。博文在本CSDN Activiti系列中。
IT-CLOUD-ELASTICSEARCH :elasticsearch教程源码。博文在本CSDN elasticsearch系列中。
IT-CLOUD-KAFKA :spring整合kafka教程源码。博文在本CSDN kafka系列中。
IT-CLOUD-KAFKA-CLIENT :kafka client教程源码。博文在本CSDN kafka系列中。

开源项目，持续更新中，喜欢请 Star~