1kafka简介

1. 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能

   
   

2. 高吞吐率。即使在非常廉价的机器上也能做到单机支持每秒100K条消息的传输

   
   

3. 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输，同时支持离线数据处理和实时数据处理

   
   

2为什么要用消息系统

1. 解耦：允许我们独立修改队列两边的处理过程而互不影响。

   
   

2. 冗余：有些情况下，我们在处理数据的过程会失败造成数据丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险, 确保你的数据被安全的保存直到你使用完毕

   
   

3. 芯片复制峰值处理能力：不会因为突发的流量请求导致系统崩溃，消息队列能够使服务顶住突发的访问压力, 有助于解决生产消息和消费消息的处理速度不一致的情况

   
   

4. 异步通信：消息队列允许用户把消息放入队列但不立即处理它, 等待后续进行消费处理。

   
   

3kafka基础知识

1. Producer：即消息生产者，向 Kafka Broker 发消息的客户端。

   
   

2. Consumer：即消息消费者，从 Kafka Broker 读消息的客户端。

   
   

3. Consumer Group：即消费者组，消费者组内每个消费者负责消费不同分区的数据，以提高消费能力。一个分区只能由组内一个消费者消费，不同消费者组之间互不影响。

   
   

4. Broker：一台 Kafka 机器就是一个 Broker。一个集群是由多个 Broker 组成的且一个 Broker 可以容纳多个 Topic。

   
   

5. Topic：可以简单理解为队列，Topic 将消息分类，生产者和消费者面向的都是同一个 Topic。

   
   

6. Partition：为了实现Topic扩展性，提高并发能力，一个非常大的 Topic 可以分布到多个 Broker 上，一个 Topic 可以分为多个 Partition 进行存储，每个 Partition 是一个有序的队列。