Spark直连消费Kafka数据，防止数据丢失问题。
SparkStreaming直连消费kafka数据，偏移量手动保存到MySQL，如果某条数据已经处理，但是在更新MySQL中偏移量的过程中，程序宕机，数据已经处理，但是M...
Spark Streaming直连消费kafka数据，偏移量手动保存到MySQL，如果某条数据已经处理，但是在更新MySQL中偏移量的过程中，程序宕机，数据已经处理，但是MySQL中偏移量没有更新，如何防止这种情况的发生？
展开
1个回答
展开全部
除非你将处理后的数据结果储存在支持事物的数据库中，比如这样：
开启事物
保存偏移量
保存处理结果
结束事物
在这里事物(原子性)保证了数据处理和偏移量保存的原子性
否则无法保证真正避免的数据重复消费或数据丢失。看你更倾向于是可接受重复消费或者数据丢失
开启事物
保存偏移量
保存处理结果
结束事物
在这里事物(原子性)保证了数据处理和偏移量保存的原子性
否则无法保证真正避免的数据重复消费或数据丢失。看你更倾向于是可接受重复消费或者数据丢失
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
