Spark消费kafka

Posted by Epoch Blog on October 10, 2020

地址

http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#storing-offsets

说明

需要注意的是,Spark和Kafka的版本,必须要集成一致,一般来说,我们目前所使用的kafka的版本都需要在0.10以上

注意Streaming-kafka包

1
2
3
groupId = org.apache.spark
artifactId = spark-streaming-kafka-0-10_2.12
version = 3.2.0