# 冷热分层文件系统

![image.png](/static/img/62e25c0fe85eee83a3c4b96d1424489d.image.webp)



## 全闪存文件系统
## Intel DAOS
Intel 的DAOS是目前能看到的唯一开源的高性能的全闪分布式存储系统。
它具有以下特性：
1. 介质主要是 SCM和 NVME SSD存储。用Persistent Memory Development Kit (PMDK)来把SCM通过memory map的方式直接访问。通过Storage Performance Development Kit (SPDK)库直接访问NVM-Express SSD盘。
2. 在对外接口上，通过libdaos实现了两类接口：Native key-value接口和Native array接口。可以理解为：DAOS同时实现了一个分布式的KV存储系统和一个分布式的类似于Ceph RADOS的对象存储系统。基于libdaos库可以实现各种应用层的接口：POSIX filesystem，HDF5，HDFS Connector等。
3. By OS kernel：直接使用PMDK，SPDK等用户态库绕过操作系统直接访问SCM和NVME SSD等高性能设备。
4. RDMA：实现用户空间数据端到端的数据拷贝。
5. UTL（user level thread）用户态线程或者称为协程的概念。
## 主文件系统
例如共享存储文件系统
## 归档文件系统
归档文件系统是一种用于长期存储不常用、历史性数据的存储管理机制，旨在将旧数据从昂贵的高性能主存储迁移到低成本的容量存储（如归档介质或云端），以优化存储空间并降低成本。它通常支持自动归档、文件索引与搜索功能，并能通过保留快捷方式使用户在需要时透明访问数据。

集群文件系统

# 无根docker
运行无 root Docker 利用了用户命名空间。该子系统提供跨进程的权限隔离和用户身份隔离
# OCI开放容器标准
OCI，Open Container Initiative，是一个轻量级，开放的治理结构（项目），在 Linux 基金会的支持下成立，致力于围绕容器格式和运行时创建开放的行业标准。
OCI 目前提出的规范有如下这些：


| 名称 | 版本 |
| --- | --- |
| Runtime Specification | v1.0.1 |
| Image Format | v1.0.1 |
| Distribution Specification | v1.0.0-rc0 |

其中 runtime 和 image 的规范都已经正式发布，而 distribution 的还在工作之中。runtime 规范中介绍了如何运行解压缩到磁盘上的 Filesystem Bundle。在 OCI 标准下，运行一个容器的过程就是下载一个 OCI 的镜像，将其解压到某个 Filesystem Bundle 中，然后某个 OCI Runtime 就会运行这个 Bundle。细节此处不再展开，感兴趣的同学可以直接阅读 Spec。
# cgroups
cgroups（Control Groups）是 Linux 内核功能，用于对系统中的进程进行分组，并精细化限制、分配、监控和调度资源（如 CPU 时间、系统内存、网络带宽等）。它主要用于实现资源隔离，是 Docker、Kubernetes 等容器技术和系统管理工具的重要基础。

SLURM集群镜像开发

RoCE 

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)



# 介绍
Spine-Leaf (脊柱-叶片) 架构是现代数据中心常用的两层高性能网络拓扑，旨在提供低延迟、高可扩展性和高可靠性。叶交换机连接服务器，脊柱交换机连接所有叶交换机，通过全网状连接实现高效的流量负载均衡和冗余备份，适用于云计算和分布式计算场景。 
# 传统三层数据中心网络
![image.png](/static/img/e0c5f2509e22691ff00cba59b86b26e8.image.webp)
## 接入层(将工作站接入网络)
接入层的面向对象主要是终端客户，为终端客户提供接入功能，接入层的主要功能是规划同一网段中的工作站个数，提高各接入终端的带宽。
## 汇聚层(提供基于策略的连接)
汇聚层连接网络的核心层和各个接入的应用层，在两层之间承担“媒介传输”的作用。在应用接入核心层之前先经过汇聚层进行数据处理，以减轻核心层设备的负荷。汇聚层提供内容交换、防火墙、SSL卸载、入侵检测、网络分析等服务。
## 核心层(网络的高速交换主干)
核心层在互联网中承载着网络服务器与各应用端口间的传输功能，是整个网络的支撑脊梁和数据传输通道。核心交换机为进出数据中心的包提供高速的转发，为多个汇聚层提供连接性，核心交换机通常为整个网络提供一个弹性的L3路由网络。
**为了有效的解决环路问题，做出了改进：
**

![image.png](/static/img/64baeb66f748fa6f9a13d4c55a262c75.image.webp)
**为了改善阻塞 VLAN 中的冗余路径。思科引入vPC(Virtual Port Channel)技术，消除了生成树阻塞端口**

![image.png](/static/img/0553b916f43f01ba8eb6bc31ec26e403.image.webp)

## 新的问题
虚拟化技术需要有了动态迁移的需求。将一个虚拟机从一台物理服务器移动到另一台物理服务器的过程。该过程对于最终用户来说是无感知的，所以要保证在迁移过程中，虚拟机的业务不能中断。
![image.png](/static/img/e68db1b95d428827c077a924e8022fc6.image.webp)
## 虚拟化技术引发的改进：
为了使用虚拟机的大范围和跨区的迁徙，做了以下两个改进点：
1. 从小的两层网络变为大范围的两层网络
2. 虚拟机可在大两层网络种进行前夕

![image.png](/static/img/da345f514800c72383870f33d5c445dd.image.webp)
## 数据中心的流量转变
传统的流量是为南北向流量占主导地位的传统数据中心设计的，不适合东西向流量较大的云数据中心。
例如：东西向流量(如跨POD的二层和三层流量)必须经过汇聚层和核心层的设备转发，不必要地经过许多节点。传统网络通常设置1:10到1:3的带宽超额比，以提高设备利用率。随着超额订阅率，每次流量通过节点时性能都会显着下降。此外，第 3 层网络上的 xSTP 技术加剧了这种恶化。
# Spine-Leaf架构
Clos 网络以其发明者Charles Clos命名，Charles Clos是一名电话网络工程师，他在 1950 年代需要解决如何应对电话网络的爆炸式增长这一问题. 提出了现在称之为 Clos 的网络架构。

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)

Spine-Leaf体系架构是由Spine和Leaf这两个交换层组成的数据中心网络拓扑结构。Leaf层由访问交换机组成，汇聚来自服务器的流量，并直接连接到Spine或网络核心。Spine交换机在全网格拓扑中互连所有Leaf交换机。上图中，绿色节点代表交换机，灰色节点代表服务器。在绿色节点中，最上面的是Spine节点，下面是Leaf节点。
# Spine-Leaf与传统网络设计对比

![image.png](/static/img/7d48d480651c9b01376faf03ec5cc910.image.webp)
1. 放弃了生成树协议 (STP)
2. 越来越多地使用固定端口交换机而不是网络骨干的模块化模型
3. 横向与纵向基础架构的扩展

脊柱-叶片结构

# 节点配置
## AMD EPYC（霄龙）

基于先进的晶圆制造工艺，在设计上实现突破创新，带来出色的 x86 性能、能效和成本效益，充分满足当今 AI 驱动的数据中心的多元需求。多种 CPU 供您选择，包括适用于 AI 的高密度 CPU、适用于低延迟工作负载的高频 CPU，以及适用于数据库和仿真工作负载的内存优化型 CPU。
## 型号分类
1. EPYC（霄龙）9005（第五代）
2. EPYC（霄龙）9004（第四代） 
3. EPYC（霄龙）7003（第三代）
### 详细的介绍
### 1.AMD EPYC™ 9654
#### 一般规格：
|   名称   |数量|
| --- |---|
|  CPU 核心数 | 96 |
|  线程数 | 192 |
|最大加速频率|3.7 GHz|
| L3 缓存|384 MB|
|热设计功耗|360W|
| CPU 插槽|SP5|
|套接字数量|1P / 2P|
| PCI Express® 版本|PCIe® 5.0 x128|
#### 连接性
|   名称   |数量|
|---|---|
|DDR5|系统内存类型|
|Memory Channels|4800 MT/s|
|Per Socket Mem BW|460.8 GB/s|
## 型号分类

### 2.详细介绍
Product Brief: Intel® Xeon® 6 Processors
英特尔® 至强® 6 处理器共有四个系列，提供分级功能，可满足从入门级到高要求的各种工作负载需求，并可选配更多核心、更大缓存、速度更快、容量更大的内存以及比上一代产品更强大的 I/O 性能。所有英特尔® 至强® 6 处理器系列均采用兼容的 x86 指令集架构 (ISA) 和通用硬件平台，包括 CPU 插槽类型。此外，英特尔还与行业合作伙伴携手合作，确保两种核心类型与通用操作系统、编译器、库和框架无缝兼容。凭借这一共享的软件堆栈以及遍布全球的软硬件供应商生态系统，英特尔能够提供满足各种业务需求的解决方案。
### intel Xeon Platinum8458P
|   名称   |数量|
| --- |---|
|  总核心数 | 44 |
|  总线程数 | 88 |
|最大涡轮频率|3.80 GHz|
|处理器基频|2.70 GHz|
|Cache|82.5 MB|
|热设计功耗|350W|
## 存储节点
### 分布式纠删码
集群1的8个存储节点通过4+2:2的纠删码方式配置，即任意任意 2 块丢失即可恢复
### RDMA 协议
节点之间直接内存访问，绕过 CPU，延迟低、带宽高，适合高性能场景
### 统一共享空间
8 个节点对外呈现一个大的逻辑卷，所有计算节点都能挂载读写

