#Kafka

主要内容:

  • 介绍 Page Cache
  • 介绍 Kafka Page Cache 的思想

主要内容:

  • 对Kafka的日志(Log)、日志段(LogSegment)以及索引(Index)源码进行尝试性分析。

主要内容:基于scala代码实现Flink1.10.0对接Kafka。

据了解,Kafka吞吐量峰值每秒百万,就算在内存个CPU都不高的情况下,最高可达每秒十万,并且还能做到持久化存储。Kafka如此高吞吐率的原因是什么?

主要内容:

  • Kafka底层数据存储设计
  • Kafka查询数据策略
  • 具体demo及原理图
  • 指定分区从头消费
  • 指定分区从最新offset消费
  • 指定分区、offset消费

在为消费者分配新分区或者移除旧分区时,可以通过消费者API执行一些应用程序代码,在调用subscribe方法时,传进去一个ConsumerRebalanceListener实例就可以了。ConsumerRebalanceListener有两个需要实现的方法。

Kafka提交偏移量的方式:

  • 自动提交
  • 手动提交——同步
  • 手动提交——异步