1.kafka概述
Kafka是由Apache软件基金会开发的一个分布式流数据平台，它是一种高吞吐量、低延迟的消息队列系统。Kafka最初是由LinkedIn开发，后来捐赠给了Apache软件基金会，并成为了一个顶级项目。
Kafka的设计目标是用于处理实时数据流，可以处理大规模的数据，并支持高并发的消息传递。它具有以下主要特点：
-
分布式架构：Kafka是一个分布式系统，可以在多台服务器上部署，实现数据的高可用性和负载均衡。
-
消息发布与订阅：Kafka采用了发布-订阅模式，允许多个消费者订阅同一个主题（topic）的消息，并且每个消息可以被多个消费者同时消费。
-
持久性：Kafka的消息是持久化存储的，可以在消息被消费后继续保存一段时间，因此不会丢失数据。
-
高吞吐量：Kafka具有非常高的吞吐量和低延迟，适用于处理大量的实时数据流。
-
可扩展性：Kafka可以通过增加新的节点来扩展集群，以满足不断增长的数据流量需求。
-
多语言支持：Kafka提供了丰富的客户端API，支持多种编程语言，如Java、Python、C++等。
Kafka被广泛应用于大规模的数据处理场景，特别是在实时数据流处理、日志收集和数据管道等方面。它被很多互联网公司和大数据项目所采用，是一个重要的分布式消息队列系统。
kafka官网：http://kafka.apache.org/
消息中间件对比
消息中间件对比-选择建议
2.kafka安装配置
Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeper
- Docker安装zookeeper
下载镜像：
docker pull zookeeper:3.4.14
创建容器:
docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14
- Docker安装kafka
下载镜像：
docker pull wurstmeister/kafka:2.12-2.3.1
创建容器:
docker run -d --name kafka \
--env KAFKA_ADVERTISED_HOST_NAME=ip地址xxx \
--env KAFKA_ZOOKEEPER_CONNECT=ip地址xxx:2181 \
--env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://ip地址xxx:9092 \
--env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
--env KAFKA_HEAP_OPTS="-Xmx256M -Xms256M" \
-p 9092:9092 wurstmeister/kafka:2.12-2.3.1
- 查看日志:
docker logs -f 容器id
成功启动
3.kafka入门
(1).创建kafka-demo项目，导入依赖
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
</dependency>
(2).生产者发送消息
package com.heima.kafka.sample;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
/**
* @Date: ${DATE} ${TIME}
* @author: Qeem
* 生产者
*/
public class ProducerQuickStart {
public static void main(String[] args) {
//1.kafka连接配置信息
Properties prop = new Properties();
//kafka连接地址
prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"ip地址:端口号"); //ctrl进入ProducerConfig源码里可以查看
//key和value的序列化 (org.apache.kafka.common.serialization.StringSerializer在jar包里找)
prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
//2.创建kafka生产者对象
KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);
//3.发送消息
/*
* 第一个参数: topic
* 第二个参数: 消息的key
* 第三个参数: 消息的value
* */
ProducerRecord<String, String> kvProducerRecord = new ProducerRecord<>("topic-first", "key-001", "hello kafka");
producer.send(kvProducerRecord);
//4.关闭消息通道 必须要关闭,否则消息发送不成功
producer.close();
}
}
(3).消费者接受消息
package com.heima.kafka.sample;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
/**
* @Date: 2023/7/23 21:46
* @author: Qeem
* 消费者
*/
public class ConsumerQuickStart {
public static void main(String[] args) {
//1.添加kafka的配置信息
Properties prop = new Properties();
//kafka的连接地址
prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "ip地址:端口号");
//消费者组
prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
//消息的反序列化器
prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
//2.消费者对象
KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);
//3.订阅主题
consumer.subscribe(Collections.singletonList("topic-first"));
//当前线程一直处于监听状态
while (true) {
//4.获取消息
ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
System.out.println(consumerRecord.key());
System.out.println(consumerRecord.value());
}
}
}
}
如果一个生产者发送消息需要让多个消费者接受到消息,消费者只需要设置多个组即可(group1、group2....)
//消费者组
prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
(4).分区机制
//3.发送消息
/*
* 第一个参数: topic
* 第二个参数: 分区
* 第三个参数: 消息的key
* 第四个参数: 消息的value
* */
ProducerRecord<String, String> kvProducerRecord = new ProducerRecord<>("topic-first", 0,"key-001", "hello kafka");
//当前线程一直处于监听状态
while (true) {
//4.获取消息
ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
System.out.println(consumerRecord.key());
System.out.println(consumerRecord.value());
System.out.println(consumerRecord.partition());//分区
}
}
4.kafka高可用设计
(1).集群
-
Kafka 的服务器端由被称为 Broker 的服务进程构成，即一个 Kafka 集群由多个 Broker 组成
-
这样如果集群中某一台机器宕机，其他机器上的 Broker 也依然能够对外提供服务。这其实就是 Kafka 提供高可用的手段之一
(2).备份机制(Replication）
Kafka 中消息的备份又叫做 副本（Replica）
Kafka 定义了两类副本：
-
领导者副本（Leader Replica）
-
追随者副本（Follower Replica）
同步方式
ISR（in-sync replica）需要同步复制保存的follower
如果leader失效后，需要选出新的leader，选举的原则如下：
-
第一：选举时优先从ISR中选定，因为这个列表中follower的数据是与leader同步的
-
第二：如果ISR列表中的follower都不行了，就只能从其他follower中选取
极端情况，就是所有副本都失效了，这时有两种方案:
-
第一：等待ISR中的一个活过来，选为Leader，数据可靠，但活过来的时间不确定
-
第二：选择第一个活过来的Replication，不一定是ISR中的，选为leader，以最快速度恢复可用性，但数据不一定完整
5.kafka生产者详解
(1).发送类型
同步发送
使用send()方法发送，它会返回一个Future对象，调用get()方法进行等待，就可以知道消息是否发送成功
RecordMetadata recordMetadata = producer.send(kvProducerRecord).get();
System.out.println(recordMetadata.offset());
异步发送(推荐)
调用send()方法，并指定一个回调函数，服务器在返回响应时调用函数
//异步消息发送
producer.send(kvProducerRecord, new Callback() {
@Override
public void onCompletion(RecordMetadata recordMetadata, Exception e) {
if(e != null){
System.out.println("记录异常信息到日志表中");
}
System.out.println(recordMetadata.offset());
}
});
(2).参数详解
代码的配置方式：
//ack配置 消息确认机制
prop.put(ProducerConfig.ACKS_CONFIG,"all");
参数的选择说明
生产者从服务器收到的错误有可能是临时性错误，在这种情况下，retries参数的值决定了生产者可以重发消息的次数，如果达到这个次数，生产者会放弃重试返回错误，默认情况下，生产者会在每次重试之间等待100ms
代码中配置方式：
//重试次数
prop.put(ProducerConfig.RETRIES_CONFIG,10);
消息压缩
默认情况下， 消息发送时不会被压缩。
代码中配置方式：
xxxxxxxxxx //数据压缩prop.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"lz4");
使用压缩可以降低网络传输开销和存储开销，而这往往是向 Kafka 发送消息的瓶颈所在。
6.kafka消费者详解
(1).消费者组
-
消费者组（Consumer Group） ：指的就是由一个或多个消费者组成的群体
-
一个发布在Topic上消息被分发给此消费者组中的一个消费者
-
所有的消费者都在一个组中，那么这就变成了queue模型(消息队列,只有一个消费者能接收到消息)
-
所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型(所有消费者都能接收到消息)
-
(2).消息有序性
应用场景：
-
即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致
-
充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序
topic分区中消息只能由消费者组中的唯一一个消费者处理，所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理，不能保证跨分区的消息先后处理顺序。 所以，如果你想要顺序的处理Topic的所有消息，那就只提供一个分区。
(3).提交和偏移量
kafka不会像其他JMS队列那样需要得到消费者的确认，消费者可以使用kafka来追踪消息在分区的位置（偏移量）
消费者会往一个叫做_consumer_offset的特殊主题发送消息，消息里包含了每个分区的偏移量。如果消费者发生崩溃或有新的消费者加入群组，就会触发再均衡
正常的情况
如果消费者2挂掉以后，会发生再均衡，消费者2负责的分区会被其他消费者进行消费
再均衡后不可避免会出现一些问题
问题一：
如果提交偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。
问题二：
如果提交的偏移量大于客户端的最后一个消息的偏移量，那么处于两个偏移量之间的消息将会丢失。
如果想要解决这些问题，还要知道目前kafka提交偏移量的方式：
提交偏移量的方式有两种，分别是自动提交偏移量和手动提交
- 自动提交偏移量
当enable.auto.commit被设置为true，提交方式就是让消费者自动提交偏移量，每隔5秒消费者会自动把从poll()方法接收的最大偏移量提交上去
-
手动提交 ，当enable.auto.commit被设置为false可以有以下三种提交方式
-
提交当前偏移量（同步提交）
-
异步提交
-
同步和异步组合提交
-
1.提交当前偏移量（同步提交）
把enable.auto.commit设置为false,让应用程序决定何时提交偏移量。使用commitSync()提交偏移量，commitSync()将会提交poll返回的最新的偏移量，所以在处理完所有记录后要确保调用了commitSync()方法。否则还是会有消息丢失的风险。
只要没有发生不可恢复的错误，commitSync()方法会一直尝试直至提交成功，如果提交失败也可以记录到错误日志里。
while (true){
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> record : records) {
System.out.println(record.value());
System.out.println(record.key());
try {
consumer.commitSync();//同步提交当前最新的偏移量
}catch (CommitFailedException e){
System.out.println("记录提交失败的异常："+e);
}
}
}
2.异步提交
手动提交有一个缺点，那就是当发起提交调用时应用会阻塞。当然我们可以减少手动提交的频率，但这个会增加消息重复的概率（和自动提交一样）。另外一个解决办法是，使用异步提交的API。
while (true){
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> record : records) {
System.out.println(record.value());
System.out.println(record.key());
}
consumer.commitAsync(new OffsetCommitCallback() {
@Override
public void onComplete(Map<TopicPartition, OffsetAndMetadata> map, Exception e) {
if(e!=null){
System.out.println("记录错误的提交偏移量："+ map+",异常信息"+e);
}
}
});
}
3.同步和异步组合提交
异步提交也有个缺点，那就是如果服务器返回提交失败，异步提交不会进行重试。相比较起来，同步提交会进行重试直到成功或者最后抛出异常给应用。异步提交没有实现重试是因为，如果同时存在多个异步提交，进行重试可能会导致位移覆盖。
举个例子，假如我们发起了一个异步提交commitA，此时的提交位移为2000，随后又发起了一个异步提交commitB且位移为3000；commitA提交失败但commitB提交成功，此时commitA进行重试并成功的话，会将实际上将已经提交的位移从3000回滚到2000，导致消息重复消费。
try {
while (true){
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
for (ConsumerRecord<String, String> record : records) {
System.out.println(record.value());
System.out.println(record.key());
}
consumer.commitAsync();
}
}catch (Exception e){+
e.printStackTrace();
System.out.println("记录错误信息："+e);
}finally {
try {
consumer.commitSync();
}finally {
consumer.close();
}
}
7.SpringBoot集成Kafka
(1).入门
导入spring-kafka依赖信息
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- kafkfa -->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<exclusions>
<exclusion>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
</dependency>
</dependencies>
2.在resources下创建文件application.yml
server:
port: #端口号
spring:
application:
name: kafka-demo #项目名称
kafka:
bootstrap-servers: #ip地址:端口号
producer: #生产者
retries: 10 #重试次数
key-serializer: org.apache.kafka.common.serialization.StringSerializer #key的序列化器
value-serializer: org.apache.kafka.common.serialization.StringSerializer #value的序列化器
consumer: #消费者
group-id: ${spring.application.name}-test #组的id
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer #key的反序列化器
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer #value的反序列化器
3.消息生产者
package com.heima.kafka.controller;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
/**
* @Date: 2023/7/24 21:58
* @author: Qeem
*/
@RestController
public class HelloController {
@Resource
private KafkaTemplate<String,String> kafkaTemplate;
@GetMapping("/hello")
public String hello(){
kafkaTemplate.send("itcast-topic","Qeem简直是个天才!");
return "ok";
}
}
4.消息消费者
package com.heima.kafka.listener;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;
/**
* @Date: 2023/7/24 22:00
* @author: Qeem
*/
@Component
public class HelloListener {
@KafkaListener(topics = "itcast-topic")
public void onMessage(String message){
if (!StringUtils.isEmpty(message)){
System.out.println(message);
}
}
}
5.测试
项目启动,访问localhost:9991/hello
控制台打印接收到的消息
(2).传递消息为对象
目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式
-
方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强(不推荐)
-
方式二：可以把要传递的对象进行转json字符串，接收消息后再转为对象即可
使用方式二
User对象:
package com.heima.kafka.pojo;
import lombok.Data;
/**
* @Date: 2023/7/24 22:13
* @author: Qeem
*/
@Data
public class User {
private String name;
private Integer age;
}
消息生产者
package com.heima.kafka.controller;
import com.alibaba.fastjson.JSON;
import com.heima.kafka.pojo.User;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import javax.annotation.Resource;
/**
* @Date: 2023/7/24 21:58
* @author: Qeem
*/
@RestController
public class HelloController {
@Resource
private KafkaTemplate<String,String> kafkaTemplate;
@GetMapping("/hello")
public String hello(){
User user = new User();
user.setAge(9);
user.setName("Qeem");
kafkaTemplate.send("user-topic", JSON.toJSONString(user));
return "ok";
}
}
消息消费者
package com.heima.kafka.listener;
import com.alibaba.fastjson.JSON;
import com.heima.kafka.pojo.User;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;
/**
* @Date: 2023/7/24 22:00
* @author: Qeem
*/
@Component
public class HelloListener {
@KafkaListener(topics = "user-topic")
public void onMessage(String message){
if (!StringUtils.isEmpty(message)){
User user = JSON.parseObject(message, User.class);
System.out.println(user);
}
}
}
测试
访问localhost:9991/hello
控制台打印发送的User对象
评论区