跳到正文
WonderlandKnowledge Garden
14 章知识库 · 05备考优先级 高 约 14 分钟
精讲笔记

第 5 章 数据库系统

考点定位:综合知识稳定高频(含计算题),案例题常考数据库设计与性能优化,论文可涉及数据仓库/湖仓。 优先级:高。芝士架构公开课程大纲中「数据库系统」列公共课第一重点,子模块含:导学、关系代数、元组演算、概念设计、函数依赖、规范化、数据库控制、分布式数据库、NoSQL。

1. 知识地图

子模块 核心考点 考查形式 优先级
基础理论 三级模式两级映像、ER 模型、关系代数、元组演算 选择题 ★★★★
规范化 函数依赖、1NF~BCNF、模式分解 选择题 + 案例 ★★★★★
事务与并发 ACID、封锁协议、隔离级别、死锁 选择题高频 ★★★★★
数据库性能 索引 B+树、视图、分区、读写分离、分库分表 案例 ★★★★
分布式数据库 CAP、BASE、一致性协议、NoSQL 分类 选择题 + 论文 ★★★★
数据仓库 OLTP vs OLAP、星型/雪花模型、数据湖/湖仓一体 选择题 + 论文热点 ★★★★

2. 核心知识

2.1 三级模式两级映像

  • 三级模式:外模式(用户视图)→ 模式(概念模式,全局逻辑结构)→ 内模式(存储结构)。
  • 两级映像:外模式/模式映像(保证逻辑独立性)、模式/内模式映像(保证物理独立性)。
  • 口诀:外看用、模式全、内管存;外模逻辑、模内物理。

2.2 ER 模型与关系代数

  • ER 三要素:实体、联系、属性;联系有一对一、一对多、多对多(多对多需转为中间关系模式)。
  • 关系代数基本运算:并、差、笛卡尔积、投影(π,列)、选择(σ,行);扩展运算:连接(⋈)、除、外连接。
  • 元组演算:以元组变量谓词表达查询(α 演算),域演算(如 QBE)以属性值为变量。

2.3 规范化(必考)

范式 要求
1NF 属性原子不可再分
2NF 满足 1NF,且每个非主属性完全函数依赖于候选码(消除部分依赖)
3NF 满足 2NF,且非主属性不传递依赖于码
BCNF 满足 3NF,且每一个决定因素都包含码(消除主属性对码的部分/传递依赖)
  • 函数依赖:完全依赖、部分依赖、传递依赖;候选码、主属性、非主属性。
  • 模式分解:遵循「无损连接性」与「保持函数依赖」;分解不当会破坏其一。
  • 反规范化:为提高查询性能,有意增加冗余(如派生列、预计算汇总表),代价是更新异常风险。

2.4 事务与并发控制

  • ACID:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。
  • 三类并发问题:丢失修改(两事务写同一数据,前者被覆盖)、不可重复读(同一事务两次读结果不同——被其他事务 UPDATE)、读脏数据(读到未提交后回滚的数据)。
  • 封锁协议:
    • 共享锁 S(读锁):兼容其他 S 锁;排他锁 X(写锁):独占。
    • 一级封锁协议(写前加 X 锁至事务结束)→ 防丢失修改。
    • 二级(一级 + 读前加 S 锁,读完即释放)→ 防读脏数据。
    • 三级(一级 + 读前加 S 锁至事务结束)→ 防不可重复读。
  • 两段锁协议(2PL):加锁阶段与解锁阶段分明(先全部加锁,再逐步解锁),可保证可串行化调度;可能产生死锁。
  • 死锁处理:预防(一次封锁法、顺序封锁法)、避免(银行家算法思想)、检测与解除(超时法、等待图法,选择牺牲者回滚)。
  • 隔离级别(低→高):读未提交 → 读已提交 → 可重复读 → 可串行化;分别对应解决脏读、不可重复读、幻读。

2.5 数据库性能与扩展

  • 索引:B+ 树索引(范围查询优)、Hash 索引(等值查询优);聚簇索引 vs 非聚簇索引;索引不是越多越好(写放大、存储开销)。
  • 视图:虚表,简化查询、提供安全隔离;物化视图会占用存储。
  • 分区:水平分区(按行)、垂直分区(按列)。
  • 扩展路径:主从复制 → 读写分离 → 分库分表(垂直拆分按业务、水平拆分按分片键)→ 分布式数据库。
  • 注意关联陷阱:读写分离存在主从延迟导致读不到最新数据;水平分片带来跨片 Join 与分布式事务难题。

2.6 分布式数据库与 NoSQL

  • CAP 定理:一致性(C)、可用性(A)、分区容错性(P)三者不可兼得,分布式系统必须接受 P,故在 C 与 A 间取舍(CP:HBase/ZooKeeper;AP:Cassandra)。
  • BASE:基本可用(Basically Available)、软状态(Soft state)、最终一致性(Eventually consistent),是 AP 的实践原则。
  • 一致性协议:Paxos(共识,复杂)、Raft(易理解,Leader 选举 + 日志复制)、2PC/3PC(分布式事务)。
  • NoSQL 四类:键值(Redis)、列族(HBase/Cassandra)、文档(MongoDB)、图(Neo4j)。

2.7 数据仓库与 OLAP

  • OLTP vs OLAP:前者面向事务、当前数据、规范化设计;后者面向分析、历史数据、冗余汇总设计。
  • 星型模型(事实表 + 维度表直接关联,查询快)vs 雪花模型(维度表再规范化,省空间但 Join 多)。
  • 数据湖(原始多格式存储)与湖仓一体(结合湖的灵活与仓的治理);近年论文热点。

3. 易混淆概念对比

对比项 关键区别
逻辑独立性 vs 物理独立性 前者由外模式/模式映像保证(模式变,外模式可不变);后者由模式/内模式映像保证
不可重复读 vs 读脏数据 不可重复读针对已提交数据(两次读不一致);读脏数据针对未提交数据
一级/二级/三级封锁协议 分别解决:丢失修改 / +读脏 / +不可重复读
2NF vs 3NF 2NF 消除非主属性对码的部分依赖;3NF 消除传递依赖
星型 vs 雪花 星型维度表不规范化、Join 少;雪花维度表规范化、Join 多
CP vs AP CP 在分区时拒绝服务保一致;AP 在分区时继续服务接受不一致

4. 考试重点

  1. 给定关系模式与函数依赖集,判断属于第几范式、分解为高一级范式。
  2. 并发调度判断会产生何种问题、需要哪级封锁协议。
  3. CAP/BASE 与具体产品归类;分布式事务方案取舍。
  4. 索引设计、读写分离延迟、分库分表带来的问题。
  5. 三级模式两级映像与两种独立性配对。

5. 典型例题(原创模拟题)

例题 1:关系模式 R(学号, 姓名, 课程号, 成绩),规定一个学生每门课只有一个成绩。则 R 最高属于( )。 A. 1NF B. 2NF C. 3NF D. BCNF

答案:A。解析:码为(学号, 课程号)。成绩完全依赖于码;但姓名仅依赖学号,属于非主属性对码的部分依赖,因此不满足 2NF,只满足 1NF。应分解为 R1(学号,姓名) 与 R2(学号,课程号,成绩)。常见陷阱:误以为部分依赖是 3NF 才处理的问题而错选 B。

例题 2:某系统为提升读性能采用主从复制 + 读写分离,用户提交订单后立即查询却查不到。最可能的原因是( )。 A. 索引失效 B. 主从复制延迟 C. 死锁 D. 事务隔离级别过高

答案:B。解析:写主库、读从库,复制存在延迟窗口,典型「读己之写」问题。常见缓解:关键读走主库、写后缓存标记、半同步复制。

6. 记忆技巧

  • 三级模式:外模内,独立性:外模逻辑、模内物理。
  • 范式逐级:1 原子、2 无部分、3 无传递、BCNF 决定因素必含码。
  • 封锁协议:一级防丢、二级防脏、三级防重。
  • ACID:原一隔持(原子、一致、隔离、持久)。
  • CAP:分布式必选 P,C/A 二选一。

7. 随堂测试

  1. 事务的隔离级别从低到高依次是什么?
  2. B+ 树索引相对 Hash 索引更适合哪类查询?
  3. 雪花模型相对星型模型的优缺点是什么?
参考答案 1. 读未提交、读已提交、可重复读、可串行化。 2. 范围查询与排序(B+ 树叶子有序且链表相连)。 3. 优点:维度表规范化,减少冗余、节省存储;缺点:查询需要更多 Join,性能通常低于星型模型。

8. 芝士架构资料补充(案例高频)

来源:《案例冲刺宝典》第 11、12 章与《公共知识红宝书》第 12 章。

8.1 CAP 与 BASE(★★★★★)

  • CAP:一致性 C(写后各节点数据一致、读能读到新值)、可用性 A(节点收到请求必须给出响应,即使数据旧)、分区容错性 P(网络产生分区后系统仍能运行)。分布式系统中 P 必然发生,取舍在 C 与 A 之间。
  • 组合:CP(如 ZooKeeper,写必须经 Leader 且过半确认,Leader 失联则暂停服务直到重选);AP(如 Eureka,心跳消失时启动自我保护不剔除实例);CA 在分布式环境不可实现。
  • BASE(AP 的延伸):基本可用(Basically Available,允许损失部分可用性/降级)、软状态(Soft State,允许中间状态与副本同步延时)、最终一致性(Eventually Consistent,经过一段时间同步后最终一致)。典型应用:电商下单、库存异步扣减。

8.2 分布式事务解决方案(★★★★★)

方案 类型 核心流程 优点 缺点
2PC 二阶段提交 刚性 阶段一投票:协调者询问→参与者执行事务记 Undo/Redo→反馈 Yes/No;阶段二提交:全 Yes 则发 Commit,否则发 Rollback,参与者回 ACK 原理简单,关系型数据库普遍采用 参与者阻塞、协调者单点、可能数据不一致、保守无容错
TCC 柔性 Try(业务检查 + 预留资源)→ Confirm(真正执行,不做检查,须幂等)→ Cancel(释放预留资源,须幂等) 主业务方发起可集群化、资源粒度小、超时补偿减少阻塞 一个逻辑拆三个接口,代码复杂,须实现幂等/补偿/重试
本地消息表 柔性 业务操作与消息写入同一本地事务→异步投递消息→消费方处理并确认→失败重试达最终一致 实现简单、依赖本地事务保证一致性 消息表与业务耦合、有延迟、需处理重复消费
  • TCC 示例(订单库存):Try 检查库存并预留(可加”可用库存”字段)→ Confirm 正式扣减 → Cancel 释放预留。

8.3 数据库性能优化(★★★★★)

  • 索引:建立注意事项——高频查询字段、区分度高的字段建索引;避免过多索引(写放大);符合最左前缀原则。
  • 数据分片:水平分片(按行分散到不同节点)、垂直分片(按列拆分);分片键选择影响跨片查询。
  • 数据分区:将表按规则(范围/列表/哈希)划分为多个物理分区,逻辑上仍是一张表。
  • 分库分表:垂直拆分(按业务把不同表分到不同库)、水平拆分(同表数据按规则分散到多库多表);代价是跨库 Join、分布式事务、全局唯一 ID、分页排序复杂。
  • 读写分离 + 主从复制:写主库、读从库;主从复制流程存在延迟,导致”读己之写”问题(提交后立即查询读不到),缓解办法:关键读走主库、半同步复制、写后缓存标记。
  • 数据库选型:关系型(强一致、事务、结构化)vs NoSQL(高扩展、灵活模型)——KV(Redis)、列族(HBase)、文档(MongoDB)、图(Neo4j)。

8.4 数据库设计要点(★★★★★)

  • 三级模式两级映像:外模式/模式映像保证逻辑独立性,模式/内模式映像保证物理独立性。
  • 概念设计(ER 模型)→ 逻辑设计(转为关系模式,处理多对多联系为中间关系);函数依赖与 1NF~BCNF 判断;事务 ACID 与封锁协议见前文。
  • 备份与恢复:全量/增量/差分备份,日志恢复;数据仓库星型/雪花模型见前文。
0%