存储的本质 - 状态

Entropy Lv4

本文来源于第五届字节跳动青训营活动,已收录到存储的本质 - 状态 | 青训营笔记 - 掘金 (juejin.cn) ,主要记录了对存储的学习

存储的本质 - 状态

1.经典案例

  • 数据的产生:注册账号等
  • 数据的流动:从客户端到后端服务器,后端服务器到数据库,再到其他系统
  • 数据的持久化:校验数据的合法性,修改内存,写入存储介质
  • 潜在的问题
    • 数据库如何保证数据不丢失
    • 数据库如何支持多人同时修改
    • 其他的存储系统
    • 如何处理除结构化数据以外的数据
    • 操作数据库的方式,使用什么编程语言

2.存储和数据库简介

2.1 存储系统

系统概览

什么是存储系统?

一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统。

存储系统的特征

  • 作为后端软件的底座,性能敏感
  • 存储系统软件架构,容易受硬件影响
  • 存储系统代码,既“简单”又“复杂”
存储器层级结构

参考https://www.cnblogs.com/RadiumGalaxy/p/17122372.html

数据从应用到存储介质
  • 缓存:很重要,贯穿整个存储体系
  • 拷贝:很昂贵,应该尽量减少
  • 硬件设备多种多样,需要有抽象统一的接入层
RAID 技术

单机存储系统如何做到高性能、高性价比、高可靠性?

Redundant Array of Inexpensive Disks

RAID 出现的背景

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限,不够安全

RAID 0

  • 多块磁盘简单组合
  • 数据条带化存储,提高磁盘带宽
  • 没有额外的容错设计

RAID 1

  • 一块磁盘对应一块额外镜像盘
  • 真实空间利用率仅 50%
  • 容错能力强

RAID 0 + 1

  • 结合了 RAID 0 和 RAID 1
  • 真实空间利用率仅 50%
  • 容错能力强,写入带宽好

2.2 数据库

关系型数据库和非关系型数据库

概览

关系(Relation)

  • Edgar.F.Codd 于1970 年提出“关系模型”
  • 关系 = 集合 = 任意元素组成的若干有序偶对,反映了事物之间的关系
  • 关系代数 = 对关系作运算的抽象查询语言,如交、并、笛卡儿积等
  • SQL = 一种 DSL = 方便人类阅读的关系代数表达形式
关系型数据库特点

关系型数据库是存储系统,但是在存储系统之外,又发展出其他功能

  • 结构化数据友好
  • 支持事务(ACID)
  • 支持复杂查询语句
非关系型数据库特点

非关系型数据库也是存储系统,但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语句

2.3 数据库 vs 经典存储

结构化数据管理
  • 写入关系型数据库,以表形式管理
  • 写入文件,自行定义管理结构
事务能力

数据库具有支持事务的优越性,事务具有

  • Atomicity: 事务内的操作要么全部执行,要么全部不执行
  • Consistency:事务执行前后,数据状态是一致的
  • Isolation:可以隔离多个并发事务,避免影响
  • Durability:事务一旦提交成功,数据保证持久性
复杂查询能力

写入数据后进行很复杂的查询

  • 数据库查询灵活、简洁
  • 文件查询僵化、复杂

2.4 数据库使用方式

Everything is Domain Specific Language,maybe SQL

SQL 操作数据:Insert、Update、Select、Delete、Where子句、Group by、Order by

SQL 定义数据:Create、Alter …

主流产品剖析

3.1 单机存储

概览

单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互

有本地文件系统和 key-value 存储

本地文件系统

Linux 经典哲学:一切皆文件

文件系统的管理单元:文件

文件系统接口:文件系统繁多,如 ext2/3/4,sysfs,rootfs 等,但都遵循 VFS 的统一抽象接口

Linux 文件系统的两大数据结构:Index Node 和 Directory Entry

  • Index Node

    记录文件元数据,如 id、大小、权限、硬盘位置等。

    inode 是文件的唯一标识,会被存储到磁盘上。

    inode 的总数在格式化文件系统时就固定了。

  • Directory Entry

    记录文件名、inode 指针、层级关系(parent)等。

    dentry 是内存结构,与 inode 的关系是 N:1(hardlink 的实现)

key-value 存储

常见使用方式:put(k, v) 和 get(k)

常见数据结构:LSM-Tree,某种程度上牺牲读写性能,追求写入性能

典型产品:RocksDB ,更多信息参考RocksDB 中文官网

3.2 分布式存储

概览

分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互

有分布式文件系统和分布式对象存储

HDFS

HDFS:大数据时代的基石

时代背景:专用的高级硬件很贵,同时数据存储量很大,要求超高吞吐

HDFS 核心特点

  • 支持海量数据存储
  • 高容错性
  • 弱 POSIX 语义
  • 使用普通 x86 服务器,性价比高
Ceph

Ceph 核心特点

  • 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用 CRUSH 算法(HASH + 权重 + 随机抽签)

3.3 单机数据库

概览

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行,也可能通过网络交互实现分布式事务

有关系型数据库和非关系型数据库

关系型数据库

商业产品 Oracle 最为广泛使用,开源产品 MySQL 和 PostgreSQL 最受欢迎。

关系型数据库的通用组件

  • Query Engine:负责解析 query,生成查询计划
  • Txn Manager:负责事务并发管理
  • Lock Manager:负责锁相关的策略
  • Storage Engine:负责组织内存/磁盘数据结构
  • Replication:负责主备同步

关键内存数据结构:B-Tree、B±Tree、LRUList 等

关键磁盘数据结构:WriteAheadLog(RedoLog)、Page

非关系型数据库

最主流的是 MongoDB、Redis、Elasticsearch 这三个。

  • 关系型数据库一般直接使用 SQL 交互,而非关系型数据库交互方式各不相同。
  • 非关系型数据库的数据结构多种多样,没有关系约束,schema 相对灵活。
  • 无论是关系型数据库还是非关系型数据库,目前都在尝试支持 SQL(子集)和“事务”。
Elasticsearch
  • 面向文档存储
  • 文档可序列化成 JSON,支持嵌套
  • 存在 index,index = 文档的集合
  • 存储和构建索引能力依赖 Lucene 引擎
  • 实现了大量搜索数据结构和算法
  • 支持 RESTFUL API,也支持弱 SQL 交互

更多信息参考Elasticsearch 中文文档

MongoDB
  • 面向文档存储
  • 文档可序列化成 JSON/BSON,支持嵌套
  • 存在 collection,collection = 文档的集合
  • 存储和构建索引能力依赖 wiredTiger 引擎
  • 4.0 后开始支持事务(多文档、跨分片多文档等)
  • 常用 client/SDK 交互,可通过插件转译支持弱 SQL

更多信息参考MongoDB 中文文档

Redis
  • 数据结构丰富(hash 表、set、zset、list)
  • C 语言实现,超高性能
  • 主要基于内存,但支持 AOF/RDB 持久化
  • 常用 redies-cli/多语言 SDK 交互

特别的,Elasticsearch 相比 RDBMS,ES 天然支持模糊搜索,还能自动算出关联程度。

3.4 分布式数据库

从单机数据库到分布式数据库,单机数据库所面对的问题和挑战,以及分布式架构的解决方案。

解决容量问题
  • 单点容量有限,受硬件条件限制
  • 存储节点池化,动态扩缩容
解决弹性问题
  • 单机扩容搬迁全量数据,耗时大,缩容 Disk 问题难以解决

  • 通过分布式灵活扩缩容解决 CPU 资源紧张问题

解决性价比问题
  • 单机写数据,容量不够,但 CPU 利用率低下
  • 扩容到高规格单机,满足了容量需求,但 CPU 浪费更严重
  • 通过分布式使用共享存储池,不需要扩容 CPU
More to Do
  • 单写 vs 多写
  • 从磁盘弹性到内存弹性
  • 分布式事务化

4.新技术演进

4.1 概览

  • 软件架构变更

    Bypass OS kernel

  • AI 增强

    智能存储格式转换

  • 新硬件革命

    • 存储介质变更
    • 计算单元变更
    • 网络硬件变更

4.2 SPDK

Bypass OS kernel 已经成为一种趋势

SPDK:Storage Performance Development Kit

Kernel Space —> User Space

  • 避免 syscall 带来的性能损耗,直接从用户态访问磁盘

中断 —> 轮询

  • 磁盘性能提高后,中断次数随之上升,不利于 IO 性能
  • SPDK poller 可以绑定特定的 CPU 核不断轮询,减少 CS,提高性能

无锁数据结构

  • 使用 Lock-free queue,降低并发时的同步开销

4.3 AI 和 Storage

AI 领域相关技术,如 Machine Learning 在很多领域,如推荐、风控、视觉领域证明了有效性。

4.4 高性能硬件

RDMA 网络
  • 传统的网络协议栈,需要基于多层网络协议处理数据包,存在用户态和内核态的切换,足够通用但性能不是最佳
  • RDMA 是 kernel bypass 的流派,不经过传统的网络协议栈,可以把用户态虚拟内存映射给网卡,减少拷贝开销,减少 CPU 开销
Persistent Memory

在 NVMe SSD 和 Main Memory 间有一种全新的存储产品:Persistent Memory

  • IO 时延介于 SSD 和 Memory 之间,约百纳秒量级
  • 可以用作易失性内存(memory mode),也可以用作持久化介质(app-direct)
可编程交换机

P4 Switch,配有编译器、计算单元、DRAM,可以在交换机层对网络包做计算逻辑。在数据库场景下,可以实现缓存一致性协议等

CPU/GPU/DPU
  • CPU:从 multi-core 走向 many-core
  • GPU:强大的算力和越来越大的显存空间
  • DPU:异构计算,减轻 CPU 的workload

总结

存储系统

  • 块存储:存储软件栈里的底层系统,接口过于朴素
  • 文件存储:日常使用最广泛的存储系统,接口十分友好,实现形式多种多样
  • 对象存储:公有云上的主流产品,immutable 语义加持
  • key-value 存储:形式最灵活,存在大量的开源/黑盒产品

数据库系统

  • 关系型数据库:基于关系和关系代数构建的,一般支持事务和 SQL 访问,使用体验友好的存储产品
  • 非关系型数据库:结构灵活,访问方式灵活,针对不同场景有不同的针对性产品

分布式架构

  • 数据分布策略:决定了数据如何分布到集群里的多个物理节点,是否均匀,是否能实现高性能
  • 数据复制协议:影响 IO 路径的性能、机器故障场景的处理方式
  • 分布式事务算法:多个数据库节点协同保障一个事务的 ACID 特性的算法,通常基于 2pc 的思想设计

在存储和数据库领域,硬件反推软件变革十分常见

参考资料

Kernel Bypass

RocksDB 中文官网

Elasticsearch 中文文档

MongoDB 中文文档

  • 标题: 存储的本质 - 状态
  • 作者: Entropy
  • 创建于 : 2023-02-22 22:19:04
  • 更新于 : 2023-04-01 07:55:52
  • 链接: https://www.entropy-tree.top/2023/02/22/golang-day15/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论