跳到正文
WonderlandKnowledge Garden
7 个案例专题 · 03 约 4 分钟

03 大数据架构(Lambda/Kappa)

来源:《案例冲刺宝典》第 8 章。

1. 系统架构原则(★★★☆☆)

数据密集型系统关注:数据规模、处理时效、容错、可扩展、成本。典型场景:日志分析、广告平台、智能决策、证券行情。

2. 批处理 vs 流处理(★★★★★)

对比项 批处理 流处理
数据对象 有界、静态的历史数据集 无界、持续到达的数据流
处理时机 累积后一次性处理 数据到达即处理
延迟 高(分钟~小时级) 低(毫秒~秒级)
吞吐 高 相对较高但受单条延迟约束
典型框架 Hadoop MapReduce、Spark Storm、Flink、Spark Streaming
适用 离线报表、历史分析 实时监控、告警、推荐

3. Lambda 架构(★★★★★)

  • 三层:
    • 批处理层(Batch Layer):存储全量原始数据,预计算离线视图(准确、高延迟)。
    • 加速层(Speed Layer):处理实时增量数据,生成实时视图(低延迟、近似)。
    • 服务层(Serving Layer):合并批量视图与实时视图对外提供查询。
  • 优点:兼顾离线准确性与实时性,容错好(批层可重算修正)。
  • 缺点:维护两套逻辑(批+流),代码重复、口径易不一致、运维复杂。

4. Kappa 架构(★★★★★)

  • 核心思想:统一用流处理,所有数据作为流处理,历史数据通过重放(Replay)流来重新计算。
  • 优点:一套逻辑,维护简单,避免批流口径不一致。
  • 缺点:对流处理引擎与消息系统(需长期保留日志、支持重放)要求高;重算历史成本高。

5. Lambda vs Kappa 对比(超级重点★★★★★)

对比项 Lambda Kappa
处理路径 批层 + 加速层双路径 单一流处理路径
逻辑一致性 两套代码,易不一致 一套代码,口径统一
准确性 批层可重算,最终准确 依赖重放,准确
实时性 好 好
复杂度 高(维护两套) 较低
适用 对准确性要求极高、历史重算频繁 业务以实时为主、流平台能力强

6. IOTA 架构(★★★☆☆)

一种改进的数据架构,强调数据从产生到消费的全链路治理与实时化,减少层次、提升数据时效性(了解层次即可)。

7. 典型架构案例(★★★★★)

  • 奥运/赛事系统、网络广告平台(实时竞价与报表)、证券公司日志大数据系统、电商智能决策系统。
  • 答题套路:先分析数据特征(体量、时效、来源),再选批/流/Lambda/Kappa,最后说明分层与组件选型。
0%