在新闻里 什么是Apache Kafka? -技术百科的定义

什么是Apache Kafka? -技术百科的定义

目录:

Anonim

定义-Apache Kafka是什么意思?

Apache Kafka是一个开放源代码的发布-订阅消息系统,旨在提供对实时数据源的快速,可扩展和容错的处理。 与传统的企业消息传递软件不同,Kafka能够处理流经公司的所有数据,并几乎实时地进行处理。

Kafka用Scala编写,最初由LinkedIn开发。 从那时起,许多公司都使用它来构建实时平台。

Techopedia解释了Apache Kafka

Kafka与事务日志有很多相似之处,并且它维护主题中消息的提要。 生产者将数据写入主题,而消费者则从这些主题中读取数据,这些主题在分布式系统格式的多个节点之间进行分区和复制。 Kafka的独特之处在于,它将每个主题分区都视为一个日志,并且为分区中的每个消息分配了唯一的偏移量。 它会将所有消息保留一定的时间,使用者负责在每个日志中跟踪其位置。 这与以前的系统不同,在以前的系统中,经纪人负责此跟踪,该系统严重限制了系统随着消费者数量的增加而扩展的能力。 这种结构允许Kafka支持许多使用者,并以非常低的开销保留大量数据。

可以使用Kafka:

  • 作为传统的消息代理
  • 用于网站活动跟踪
  • 用于日志聚合
  • 用于大数据流处理

Kafka可以与Apache Storm,Apache HBase和Apache Spark一起使用,以实时分析和呈现流数据。

什么是Apache Kafka? -技术百科的定义