03 大数据架构(Lambda/Kappa)
来源:《案例冲刺宝典》第 8 章。
1. 系统架构原则(★★★☆☆)
数据密集型系统关注:数据规模、处理时效、容错、可扩展、成本。典型场景:日志分析、广告平台、智能决策、证券行情。
2. 批处理 vs 流处理(★★★★★)
| 对比项 | 批处理 | 流处理 |
|---|---|---|
| 数据对象 | 有界、静态的历史数据集 | 无界、持续到达的数据流 |
| 处理时机 | 累积后一次性处理 | 数据到达即处理 |
| 延迟 | 高(分钟~小时级) | 低(毫秒~秒级) |
| 吞吐 | 高 | 相对较高但受单条延迟约束 |
| 典型框架 | Hadoop MapReduce、Spark | Storm、Flink、Spark Streaming |
| 适用 | 离线报表、历史分析 | 实时监控、告警、推荐 |
3. Lambda 架构(★★★★★)
- 三层:
- 批处理层(Batch Layer):存储全量原始数据,预计算离线视图(准确、高延迟)。
- 加速层(Speed Layer):处理实时增量数据,生成实时视图(低延迟、近似)。
- 服务层(Serving Layer):合并批量视图与实时视图对外提供查询。
- 优点:兼顾离线准确性与实时性,容错好(批层可重算修正)。
- 缺点:维护两套逻辑(批+流),代码重复、口径易不一致、运维复杂。
4. Kappa 架构(★★★★★)
- 核心思想:统一用流处理,所有数据作为流处理,历史数据通过重放(Replay)流来重新计算。
- 优点:一套逻辑,维护简单,避免批流口径不一致。
- 缺点:对流处理引擎与消息系统(需长期保留日志、支持重放)要求高;重算历史成本高。
5. Lambda vs Kappa 对比(超级重点★★★★★)
| 对比项 | Lambda | Kappa |
|---|---|---|
| 处理路径 | 批层 + 加速层双路径 | 单一流处理路径 |
| 逻辑一致性 | 两套代码,易不一致 | 一套代码,口径统一 |
| 准确性 | 批层可重算,最终准确 | 依赖重放,准确 |
| 实时性 | 好 | 好 |
| 复杂度 | 高(维护两套) | 较低 |
| 适用 | 对准确性要求极高、历史重算频繁 | 业务以实时为主、流平台能力强 |
6. IOTA 架构(★★★☆☆)
一种改进的数据架构,强调数据从产生到消费的全链路治理与实时化,减少层次、提升数据时效性(了解层次即可)。
7. 典型架构案例(★★★★★)
- 奥运/赛事系统、网络广告平台(实时竞价与报表)、证券公司日志大数据系统、电商智能决策系统。
- 答题套路:先分析数据特征(体量、时效、来源),再选批/流/Lambda/Kappa,最后说明分层与组件选型。
