0%

流处理批处理和Kappa架构

批处理适合的领域

  • 数据探索、机器学习实验,需要使用批处理来反复验证不同的算法
  • 大规模并行处理
  • 数据来源通常为 Hive、HDFS
  • 数据时效性要求不高,可以支持 T+1 数据延迟

流批一体 Kappa 架构适合的领域

  • 逻辑固定的数据预处理流程(统计一个时间段内商品的曝光和购买次数、某些关键词的搜索次数等)
  • 离线/实时 各落一份数据

栈,后进先出(Last in First Out)

  • 顺序结构,使用数组实现
  • 链式结构,使用链表实现

队列,先进先出(First in First Out)

  • 顺序结构,使用数组实现
  • 链式结构,使用链表实现

Welcome to my other publishing channels