存储的本质 - 状态

本文来源于第五届字节跳动青训营活动，已收录到存储的本质 - 状态 | 青训营笔记 - 掘金 (juejin.cn) ，主要记录了对存储的学习

存储的本质 - 状态

1.经典案例

• 数据的产生：注册账号等
• 数据的流动：从客户端到后端服务器，后端服务器到数据库，再到其他系统
• 数据的持久化：校验数据的合法性，修改内存，写入存储介质
• 潜在的问题
  • 数据库如何保证数据不丢失
  • 数据库如何支持多人同时修改
  • 其他的存储系统
  • 如何处理除结构化数据以外的数据
  • 操作数据库的方式，使用什么编程语言

2.存储和数据库简介

2.1 存储系统

系统概览

什么是存储系统？

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

存储系统的特征

• 作为后端软件的底座，性能敏感
• 存储系统软件架构，容易受硬件影响
• 存储系统代码，既“简单”又“复杂”

存储器层级结构

参考https://www.cnblogs.com/RadiumGalaxy/p/17122372.html

数据从应用到存储介质

• 缓存：很重要，贯穿整个存储体系
• 拷贝：很昂贵，应该尽量减少
• 硬件设备多种多样，需要有抽象统一的接入层

RAID 技术

单机存储系统如何做到高性能、高性价比、高可靠性？

Redundant Array of Inexpensive Disks

RAID 出现的背景

• 单块大容量磁盘的价格 > 多块小容量磁盘
• 单块磁盘的写入性能 < 多块磁盘的并发写入性能
• 单块磁盘的容错能力有限，不够安全

RAID 0

• 多块磁盘简单组合
• 数据条带化存储，提高磁盘带宽
• 没有额外的容错设计

RAID 1

• 一块磁盘对应一块额外镜像盘
• 真实空间利用率仅 50%
• 容错能力强

RAID 0 + 1

• 结合了 RAID 0 和 RAID 1
• 真实空间利用率仅 50%
• 容错能力强，写入带宽好

2.2 数据库

关系型数据库和非关系型数据库

概览

关系（Relation）

• Edgar.F.Codd 于1970 年提出“关系模型”
• 关系 = 集合 = 任意元素组成的若干有序偶对，反映了事物之间的关系
• 关系代数 = 对关系作运算的抽象查询语言，如交、并、笛卡儿积等
• SQL = 一种 DSL = 方便人类阅读的关系代数表达形式

关系型数据库特点

关系型数据库是存储系统，但是在存储系统之外，又发展出其他功能

• 结构化数据友好
• 支持事务（ACID）
• 支持复杂查询语句

非关系型数据库特点

非关系型数据库也是存储系统，但是一般不要求严格的结构化

• 半结构化数据友好
• 可能支持事务（ACID）
• 可能支持复杂查询语句

2.3 数据库 vs 经典存储

结构化数据管理

• 写入关系型数据库，以表形式管理
• 写入文件，自行定义管理结构

事务能力

数据库具有支持事务的优越性，事务具有

• Atomicity： 事务内的操作要么全部执行，要么全部不执行
• Consistency：事务执行前后，数据状态是一致的
• Isolation：可以隔离多个并发事务，避免影响
• Durability：事务一旦提交成功，数据保证持久性

复杂查询能力

写入数据后进行很复杂的查询

• 数据库查询灵活、简洁
• 文件查询僵化、复杂

2.4 数据库使用方式

Everything is Domain Specific Language，maybe SQL

SQL 操作数据：Insert、Update、Select、Delete、Where子句、Group by、Order by

SQL 定义数据：Create、Alter …

主流产品剖析

3.1 单机存储

概览

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

有本地文件系统和 key-value 存储

本地文件系统

Linux 经典哲学：一切皆文件

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如 ext2/3/4，sysfs，rootfs 等，但都遵循 VFS 的统一抽象接口

Linux 文件系统的两大数据结构：Index Node 和 Directory Entry

• Index Node

  记录文件元数据，如 id、大小、权限、硬盘位置等。

  inode 是文件的唯一标识，会被存储到磁盘上。

  inode 的总数在格式化文件系统时就固定了。

• Directory Entry

  记录文件名、inode 指针、层级关系（parent）等。

  dentry 是内存结构，与 inode 的关系是 N：1（hardlink 的实现）

key-value 存储

常见使用方式：put(k, v) 和 get(k)

常见数据结构：LSM-Tree，某种程度上牺牲读写性能，追求写入性能

典型产品：RocksDB ，更多信息参考RocksDB 中文官网

3.2 分布式存储

概览

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

有分布式文件系统和分布式对象存储

HDFS

HDFS：大数据时代的基石

时代背景：专用的高级硬件很贵，同时数据存储量很大，要求超高吞吐

HDFS 核心特点

• 支持海量数据存储
• 高容错性
• 弱 POSIX 语义
• 使用普通 x86 服务器，性价比高

Ceph

Ceph 核心特点

• 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
• 数据写入采用主备复制模型
• 数据分布模型采用 CRUSH 算法（HASH + 权重 + 随机抽签）

3.3 单机数据库

概览

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

有关系型数据库和非关系型数据库

关系型数据库

商业产品 Oracle 最为广泛使用，开源产品 MySQL 和 PostgreSQL 最受欢迎。

关系型数据库的通用组件

• Query Engine：负责解析 query，生成查询计划
• Txn Manager：负责事务并发管理
• Lock Manager：负责锁相关的策略
• Storage Engine：负责组织内存/磁盘数据结构
• Replication：负责主备同步

关键内存数据结构：B-Tree、B±Tree、LRUList 等

关键磁盘数据结构：WriteAheadLog（RedoLog）、Page

非关系型数据库

最主流的是 MongoDB、Redis、Elasticsearch 这三个。

• 关系型数据库一般直接使用 SQL 交互，而非关系型数据库交互方式各不相同。
• 非关系型数据库的数据结构多种多样，没有关系约束，schema 相对灵活。
• 无论是关系型数据库还是非关系型数据库，目前都在尝试支持 SQL(子集)和“事务”。

Elasticsearch

• 面向文档存储
• 文档可序列化成 JSON，支持嵌套
• 存在 index，index = 文档的集合
• 存储和构建索引能力依赖 Lucene 引擎
• 实现了大量搜索数据结构和算法
• 支持 RESTFUL API，也支持弱 SQL 交互

更多信息参考Elasticsearch 中文文档

MongoDB

• 面向文档存储
• 文档可序列化成 JSON/BSON，支持嵌套
• 存在 collection，collection = 文档的集合
• 存储和构建索引能力依赖 wiredTiger 引擎
• 4.0 后开始支持事务（多文档、跨分片多文档等）
• 常用 client/SDK 交互，可通过插件转译支持弱 SQL

更多信息参考MongoDB 中文文档

Redis

• 数据结构丰富（hash 表、set、zset、list）
• C 语言实现，超高性能
• 主要基于内存，但支持 AOF/RDB 持久化
• 常用 redies-cli/多语言 SDK 交互

特别的，Elasticsearch 相比 RDBMS，ES 天然支持模糊搜索，还能自动算出关联程度。

3.4 分布式数据库

从单机数据库到分布式数据库，单机数据库所面对的问题和挑战，以及分布式架构的解决方案。

解决容量问题

• 单点容量有限，受硬件条件限制
• 存储节点池化，动态扩缩容

解决弹性问题

• 单机扩容搬迁全量数据，耗时大，缩容 Disk 问题难以解决

• 通过分布式灵活扩缩容解决 CPU 资源紧张问题

解决性价比问题

• 单机写数据，容量不够，但 CPU 利用率低下
• 扩容到高规格单机，满足了容量需求，但 CPU 浪费更严重
• 通过分布式使用共享存储池，不需要扩容 CPU

More to Do

• 单写 vs 多写
• 从磁盘弹性到内存弹性
• 分布式事务化

4.新技术演进

4.1 概览

• 软件架构变更

  Bypass OS kernel

• AI 增强

  智能存储格式转换

• 新硬件革命

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更

4.2 SPDK

Bypass OS kernel 已经成为一种趋势

SPDK：Storage Performance Development Kit

Kernel Space —> User Space

• 避免 syscall 带来的性能损耗，直接从用户态访问磁盘

中断 —> 轮询

• 磁盘性能提高后，中断次数随之上升，不利于 IO 性能
• SPDK poller 可以绑定特定的 CPU 核不断轮询，减少 CS，提高性能

无锁数据结构

• 使用 Lock-free queue，降低并发时的同步开销

4.3 AI 和 Storage

AI 领域相关技术，如 Machine Learning 在很多领域，如推荐、风控、视觉领域证明了有效性。

4.4 高性能硬件

RDMA 网络

• 传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态和内核态的切换，足够通用但性能不是最佳
• RDMA 是 kernel bypass 的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少 CPU 开销

Persistent Memory

在 NVMe SSD 和 Main Memory 间有一种全新的存储产品：Persistent Memory

• IO 时延介于 SSD 和 Memory 之间，约百纳秒量级
• 可以用作易失性内存（memory mode），也可以用作持久化介质（app-direct）

可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

CPU/GPU/DPU

• CPU：从 multi-core 走向 many-core
• GPU：强大的算力和越来越大的显存空间
• DPU：异构计算，减轻 CPU 的workload

总结

存储系统

• 块存储：存储软件栈里的底层系统，接口过于朴素
• 文件存储：日常使用最广泛的存储系统，接口十分友好，实现形式多种多样
• 对象存储：公有云上的主流产品，immutable 语义加持
• key-value 存储：形式最灵活，存在大量的开源/黑盒产品

数据库系统

• 关系型数据库：基于关系和关系代数构建的，一般支持事务和 SQL 访问，使用体验友好的存储产品
• 非关系型数据库：结构灵活，访问方式灵活，针对不同场景有不同的针对性产品

分布式架构

• 数据分布策略：决定了数据如何分布到集群里的多个物理节点，是否均匀，是否能实现高性能
• 数据复制协议：影响 IO 路径的性能、机器故障场景的处理方式
• 分布式事务算法：多个数据库节点协同保障一个事务的 ACID 特性的算法，通常基于 2pc 的思想设计

在存储和数据库领域，硬件反推软件变革十分常见

参考资料

Kernel Bypass

RocksDB 中文官网

Elasticsearch 中文文档

MongoDB 中文文档