Kafka

大数据场景下，推荐使用 kafka

分布式流处理平台。

核心功能

• 消息引擎
• 流处理
• 存储

批次：一组消息。 分区 Partition 消息偏移量

Kafka 备份机制：

• 领导者副本 Leader replica ，对外提供服务（与客户端进行交互，客户端包括生产者和消费者）。
• 追随着副本 follower replica ，不与外界进行交互。（只做一件事，向领导者副本发送请求，请求领导者副本把最新生产的消息发给它）

伸缩性 scalability：把数据分割成多份，保存在不同的 Broker 上。（分区 partition）

分区机制：将每个主题划分为多个分区，每个分区是一组有序的消息日志。 生产者生产的每条消息只会被发送到一个分区中。 kafka 的分区编号是从 0 开始的。 副本是在分区这个层级定义的。即，每个分区只能有一个领导者副本，n-1个追随者副本。