导读 | 据Kafka的开发人员称,用内部管理的元数据取代ZooKeeper将提高可扩展性和管理。 |
对于领先的分布式事件流平台Apache Kafka的用户来说,变化即将到来。Kafka的元数据管理工具Apache ZooKeeper将很快被淘汰,取而代之的是内部技术。
Apache Kafka项目管理委员会成员、利用Kafka的Confluent公司工程师Colin McCabe解释了这一变化的原因。他说,ZooKeeper存储持久的集群元数据,处理维护动态配置和主题,以及主题内的分区。但ZooKeeper增加了一个额外的管理层次。McCabe说,在Kafka内部存储元数据将使管理更容易,并能更好地保证版本等问题。
Kafka Raft,即KRaft,是一种内部管理元数据的协议,将取代ZooKeeper。在KRaft模式下,Kafka元数据将被存储在一个分布式日志中。McCabe说,可扩展性将是主要的好处,但管理也会改善。Kafka用户将不再需要部署一个单独的系统来管理他们的Kafka集群。
目前还不清楚ZooKeeper具体何时退役,但预计在未来一两周内会对时间表进行投票。目前的建议是在即将发布的Kafka 3.3中宣布KRaft普遍可用。ZooKeeper将在之后的版本中被废弃,并在Kafka 4.0中移除。
Kafka 3.3预计在8月发布,将包括ZooKeeper和KRaft两个选项。ZooKeeper的终结日期还未确定。"McCabe说:"KRaft模式很快就会进入生产阶段,今年很快。"这将是该项目向前迈出的一大步。"
目前,Kafka开发人员正在努力实现KRaft和ZooKeeper之间的全功能对等,据说这一点正在接近。KRaft模式实际上从2021年4月发布的Kafka 2.8开始就有了,但不是生产就绪状态;Kafka 3.3将是第一个生产就绪版本。对于习惯了ZooKeeper的开发者来说,McCabe预计在转移到KRaft时不会有陡峭的学习曲线。对开发者来说,同样的API被支持,但操作者可能有一些东西需要学习。"我们的希望是,新的管理员实际上会发现这更容易,而现有的管理员会发现过渡是可控的。"
Confluent认为ZooKeeper的废弃是Kafka社区的一个重要举措,Kafka的联合创建者和Confluent的联合创始人Jun Rao(饶军)说。"它使部署/操作变得更加简单,并且由于更有效地处理元数据,可扩展性提高了10倍。我们很高兴与社区合作开展这项工作,并希望它很快就能投入生产。"
原文来自:
本文地址://gulass.cn/apache-kafka-zookeeper.html编辑:清蒸github,审核员:清蒸github
Linux大全:
Linux系统大全: