# 无根docker
运行无 root Docker 利用了用户命名空间。该子系统提供跨进程的权限隔离和用户身份隔离
# OCI开放容器标准
OCI，Open Container Initiative，是一个轻量级，开放的治理结构（项目），在 Linux 基金会的支持下成立，致力于围绕容器格式和运行时创建开放的行业标准。
OCI 目前提出的规范有如下这些：


| 名称 | 版本 |
| --- | --- |
| Runtime Specification | v1.0.1 |
| Image Format | v1.0.1 |
| Distribution Specification | v1.0.0-rc0 |

其中 runtime 和 image 的规范都已经正式发布，而 distribution 的还在工作之中。runtime 规范中介绍了如何运行解压缩到磁盘上的 Filesystem Bundle。在 OCI 标准下，运行一个容器的过程就是下载一个 OCI 的镜像，将其解压到某个 Filesystem Bundle 中，然后某个 OCI Runtime 就会运行这个 Bundle。细节此处不再展开，感兴趣的同学可以直接阅读 Spec。
# cgroups
cgroups（Control Groups）是 Linux 内核功能，用于对系统中的进程进行分组，并精细化限制、分配、监控和调度资源（如 CPU 时间、系统内存、网络带宽等）。它主要用于实现资源隔离，是 Docker、Kubernetes 等容器技术和系统管理工具的重要基础。

SLURM集群镜像开发

RoCE 

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)



# 介绍
Spine-Leaf (脊柱-叶片) 架构是现代数据中心常用的两层高性能网络拓扑，旨在提供低延迟、高可扩展性和高可靠性。叶交换机连接服务器，脊柱交换机连接所有叶交换机，通过全网状连接实现高效的流量负载均衡和冗余备份，适用于云计算和分布式计算场景。 
# 传统三层数据中心网络
![image.png](/static/img/e0c5f2509e22691ff00cba59b86b26e8.image.webp)
## 接入层(将工作站接入网络)
接入层的面向对象主要是终端客户，为终端客户提供接入功能，接入层的主要功能是规划同一网段中的工作站个数，提高各接入终端的带宽。
## 汇聚层(提供基于策略的连接)
汇聚层连接网络的核心层和各个接入的应用层，在两层之间承担“媒介传输”的作用。在应用接入核心层之前先经过汇聚层进行数据处理，以减轻核心层设备的负荷。汇聚层提供内容交换、防火墙、SSL卸载、入侵检测、网络分析等服务。
## 核心层(网络的高速交换主干)
核心层在互联网中承载着网络服务器与各应用端口间的传输功能，是整个网络的支撑脊梁和数据传输通道。核心交换机为进出数据中心的包提供高速的转发，为多个汇聚层提供连接性，核心交换机通常为整个网络提供一个弹性的L3路由网络。
**为了有效的解决环路问题，做出了改进：
**

![image.png](/static/img/64baeb66f748fa6f9a13d4c55a262c75.image.webp)
**为了改善阻塞 VLAN 中的冗余路径。思科引入vPC(Virtual Port Channel)技术，消除了生成树阻塞端口**

![image.png](/static/img/0553b916f43f01ba8eb6bc31ec26e403.image.webp)

## 新的问题
虚拟化技术需要有了动态迁移的需求。将一个虚拟机从一台物理服务器移动到另一台物理服务器的过程。该过程对于最终用户来说是无感知的，所以要保证在迁移过程中，虚拟机的业务不能中断。
![image.png](/static/img/e68db1b95d428827c077a924e8022fc6.image.webp)
## 虚拟化技术引发的改进：
为了使用虚拟机的大范围和跨区的迁徙，做了以下两个改进点：
1. 从小的两层网络变为大范围的两层网络
2. 虚拟机可在大两层网络种进行前夕

![image.png](/static/img/da345f514800c72383870f33d5c445dd.image.webp)
## 数据中心的流量转变
传统的流量是为南北向流量占主导地位的传统数据中心设计的，不适合东西向流量较大的云数据中心。
例如：东西向流量(如跨POD的二层和三层流量)必须经过汇聚层和核心层的设备转发，不必要地经过许多节点。传统网络通常设置1:10到1:3的带宽超额比，以提高设备利用率。随着超额订阅率，每次流量通过节点时性能都会显着下降。此外，第 3 层网络上的 xSTP 技术加剧了这种恶化。
# Spine-Leaf架构
Clos 网络以其发明者Charles Clos命名，Charles Clos是一名电话网络工程师，他在 1950 年代需要解决如何应对电话网络的爆炸式增长这一问题. 提出了现在称之为 Clos 的网络架构。

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)

Spine-Leaf体系架构是由Spine和Leaf这两个交换层组成的数据中心网络拓扑结构。Leaf层由访问交换机组成，汇聚来自服务器的流量，并直接连接到Spine或网络核心。Spine交换机在全网格拓扑中互连所有Leaf交换机。上图中，绿色节点代表交换机，灰色节点代表服务器。在绿色节点中，最上面的是Spine节点，下面是Leaf节点。
# Spine-Leaf与传统网络设计对比

![image.png](/static/img/7d48d480651c9b01376faf03ec5cc910.image.webp)
1. 放弃了生成树协议 (STP)
2. 越来越多地使用固定端口交换机而不是网络骨干的模块化模型
3. 横向与纵向基础架构的扩展

脊柱-叶片结构

# 节点配置
## AMD EPYC（霄龙）

基于先进的晶圆制造工艺，在设计上实现突破创新，带来出色的 x86 性能、能效和成本效益，充分满足当今 AI 驱动的数据中心的多元需求。多种 CPU 供您选择，包括适用于 AI 的高密度 CPU、适用于低延迟工作负载的高频 CPU，以及适用于数据库和仿真工作负载的内存优化型 CPU。
## 型号分类
1. EPYC（霄龙）9005（第五代）
2. EPYC（霄龙）9004（第四代） 
3. EPYC（霄龙）7003（第三代）
### 详细的介绍
### 1.AMD EPYC™ 9654
#### 一般规格：
|   名称   |数量|
| --- |---|
|  CPU 核心数 | 96 |
|  线程数 | 192 |
|最大加速频率|3.7 GHz|
| L3 缓存|384 MB|
|热设计功耗|360W|
| CPU 插槽|SP5|
|套接字数量|1P / 2P|
| PCI Express® 版本|PCIe® 5.0 x128|
#### 连接性
|   名称   |数量|
|---|---|
|DDR5|系统内存类型|
|Memory Channels|4800 MT/s|
|Per Socket Mem BW|460.8 GB/s|
## 型号分类

### 2.详细介绍
Product Brief: Intel® Xeon® 6 Processors
英特尔® 至强® 6 处理器共有四个系列，提供分级功能，可满足从入门级到高要求的各种工作负载需求，并可选配更多核心、更大缓存、速度更快、容量更大的内存以及比上一代产品更强大的 I/O 性能。所有英特尔® 至强® 6 处理器系列均采用兼容的 x86 指令集架构 (ISA) 和通用硬件平台，包括 CPU 插槽类型。此外，英特尔还与行业合作伙伴携手合作，确保两种核心类型与通用操作系统、编译器、库和框架无缝兼容。凭借这一共享的软件堆栈以及遍布全球的软硬件供应商生态系统，英特尔能够提供满足各种业务需求的解决方案。
### intel Xeon Platinum8458P
|   名称   |数量|
| --- |---|
|  总核心数 | 44 |
|  总线程数 | 88 |
|最大涡轮频率|3.80 GHz|
|处理器基频|2.70 GHz|
|Cache|82.5 MB|
|热设计功耗|350W|
## 存储节点
### 分布式纠删码
集群1的8个存储节点通过4+2:2的纠删码方式配置，即任意任意 2 块丢失即可恢复
### RDMA 协议
节点之间直接内存访问，绕过 CPU，延迟低、带宽高，适合高性能场景
### 统一共享空间
8 个节点对外呈现一个大的逻辑卷，所有计算节点都能挂载读写



集群手册重要关键词

# 计算集群机构
对于计算集群来说，通过是分为计算节点、管理节点、登录节点、存储节点、网络，这四部分：

![image.png](/static/img/8699ae990626476453c07e5e9f3eac16.image.webp)


文本主要对集群常用的计算集群互联网络进行了介绍：
## 传统CPU计算集群基本概念[1]
### 计算节点[2]
计算节点是集群中的单个计算单元，通常是一台服务器或计算机，负责执行具体的计算任务，这样可以充分利用多个节点的计算能力，加快计算速度，提高效率。
### 存储及文件系统[3]
存储以及文件系统是HPC中的难点也是重点。
在高性能计算中，提供可靠、高效和易于使用的存储和文件系统是一个主要问题，因为各种科学应用程序产生并分析大量数据。文件系统提供了与底层存储设备的接口，并将文件名等标识符链接到相应的存储硬件的物理地址。通过这种方式，可以实现对存储设备的更舒适和简化的使用。传统上，它们通过使用目录和文件来实现层次结构的概念。除了实际的文件内容之外，还管理元数据，比如文件大小和访问时间。多年来，已经提出和建立了几种文件系统，提供了各种功能。特别是在高性能计算系统中，部署了并行分布式文件系统，允许将数据分散在许多存储设备上，并结合特定功能以增加吞吐量和系统容量。然而，由于数据大小的快速增长，需要更复杂和专业的方法来处理庞大的信息量。与此同时，开发出了更强大的存储和网络技术，这对于利用相应的能力提出了挑战。除了旧的文件系统概念，其他方法也已经进入了高性能计算系统。图3概述了一个典型的高性能计算系统，其中包含许多不同的存储系统和技术。
![image.png](/static/img/a2c97239d10e47b33dffc15c50817276.image.webp)
下面对广泛使用的存储系统进行讨论，其中包括Lustre、Spectrum Scale、BeeGFS、OrangeFS、Ceph和GlusterFS。
#### Spectrum Scale
Spectrum Scale是IBM开发的可扩展高性能数据管理解决方案，专为需要处理和存储大量非结构化数据的企业而设计；它是基于之前的General Parallel File System (GPFS) （这个古老的系统据说被浪潮信息买了）开发的。这个并行文件系统提供并发数据访问，能够在一个地方进行数据分析和归档。Spectrum Scale将SSD、HDD和磁带等不同存储层次以及分析功能统一到一个可扩展的解决方案中。这使得用户能够选择最适合其文件或对象数据的存储方式，并以最低的成本迅速移动数据。Spectrum Scale完全兼容POSIX，可以支持许多传统的高性能计算应用程序。

该文件系统通过配置专用服务器用于元数据更新，有助于避免元数据密集型应用程序的性能瓶颈。否则，数据和元数据会混在一起。Spectrum Scale还避免了单服务器性能方面的瓶颈，因为所有服务器和客户端都可以访问和共享数据而无需移动它。因此，甚至客户端也可以扮演服务器的角色。

尽管Spectrum Scale是一个非常强大的文件系统，并且通过IBM集成了各种有用的工具，但对于非盈利的研究目的的集群来说，仍然相当昂贵。
#### Lustre
Lustre是一种并行分布式文件系统，广泛应用于超级计算机。它在GNU通用公共许可证（GPLv2）下获得许可，可以进行扩展和改进。由于其高性能，Lustre被应用于全球100台最快超级计算机的一半以上。

该文件系统的架构区分为客户端和服务器。客户端使用RPC消息与执行实际I/O操作的服务器进行通信。尽管所有客户端都是相同的，但服务器可以扮演不同的角色：对象存储服务器（OSS）以对象形式管理文件系统的数据；客户端可以访问对象内的字节范围。元数据服务器（MDS）管理文件系统的元数据；在检索到元数据后，客户端可以独立地联系适当的OSS。每个服务器连接到可能有多个目标（OST/MDT），分别存储实际文件数据或元数据。

Lustre在内核空间运行，也就是说，大部分功能已经以内核模块的形式实现，这既有优点也有缺点。一方面，通过使用内核的虚拟文件系统（VFS），Lustre可以提供与现有应用程序兼容的POSIX兼容文件系统。另一方面，每个文件系统操作都需要一个系统调用，在处理高性能网络和存储设备时会有一些开销。

按照其对Lustre开发的开放态度，英特尔资助了五个英特尔并行计算中心，将新特性集成到Lustre中。其中，这些中心正在致力于为I/O性能提供质量服务、文件系统压缩，以及更好地整合TSM存储后端和大数据工作流程等方面的改进。不过后面Intel已经把Lustre卖了给DDN，且前Lustre团队投入了DAOS系统的研发。
#### BeeGFS
并行且与POSIX兼容的集群文件系统BeeGFS是为I/O密集型HPC应用程序而开发的[21]。它的架构采用客户端-服务器设计，由三个关键组件组成：客户端、元数据服务器和存储服务器。通过增加特定用户所需的服务器和磁盘数量，可以简单地实现BeeGFS的可扩展性和灵活性。所有数据透明地分布在多个服务器上，使用分层（根据给定大小的块）进行分块。除数据分布外，元数据也在目录级别上分布在多个元数据服务器上，每个服务器存储完整文件系统树的一部分。通过这种方式，提供了对数据的快速访问。BeeGFS还实现了对元数据的负载均衡。
BeeGFS系统的客户端内核模块是免费的，并且受GPL许可证保护，服务器受BeeGFS最终用户许可协议（EULA）保护。因此，商业支持是可选的。未来，BeeGFS的开发者打算改进监控和诊断工具，并扩展POSIX接口支持。
#### User-Level文件系统
与Lustre等内核空间文件系统不同，用户态文件系统不需要任何内核模块来运行。这通常使得在超级计算机环境中使用此类文件系统更加容易，因为用户通常没有root权限。

OrangeFS是一个完全在用户空间运行的并行分布式文件系统。它是开源的，并在GNU Lesser General Public License (LGPL)下许可。它通过原生的ADIO后端提供出色的MPI-IO支持，并提供多种用户界面，包括几个直接接口库、一个FUSE文件系统和一个可选的内核模块[96]。与其他文件系统类似，OrangeFS有专用的数据和元数据存储服务器。OrangeFS使用任意本地POSIX文件系统进行数据存储，并可以使用Berkeley DB (BDB)或Lightning Memory-Mapped Database (LMDB)进行元数据存储。

IBIO是一个基于InfiniBand的用户级文件系统，旨在作为计算节点和并行文件系统之间的中间层[80]。它旨在提高检查点/重启用例的性能。它讨论了增加可靠性的冗余方案。使用SSD和FDR Infiniband，它在一个服务器上实现了每秒2GB的写入吞吐量和每秒3GB的读取吞吐量。

GlusterFS是另一个POSIX兼容的自由开源分布式文件系统。与其他传统存储解决方案一样，它具有客户端-服务器模型，但不需要专用的元数据服务器。所有数据和元数据存储在多个设备上（称为卷），这些设备专门为不同的服务器提供服务。GlusterFS使用弹性哈希算法来算法性地定位文件。这种无元数据服务器架构确保了更好的性能、线性可扩展性和可靠性。同时，GlusterFS是一个提供基于文件的存储的网络文件系统；块和对象接口必须在其之上构建。
#### 文件系统比较
在IO-500中，列出了不同文件系统的数据和元数据基准测试的性能行为。类似于计算架构的TOP500列表，IO-500旨在跟踪多年来的性能增长并分析存储领域的变化。IO-500不仅提供了预期性能的关键指标，还作为社区中培育和共享最佳实践的知识库。基准测试方法利用了MDTest和IOR基准测试。一系列具有预配置参数的严格测试被设计为显示未经优化应用的最坏情况。对于IOR，这意味着随机I/O的47,000个chunks，而对于MDTest，使用了具有3,901字节文件的单个共享目录。用户可以根据需要配置和优化一组简单测试，以展示所测试的存储系统的潜力。对于IOR，简单测试通常是大块的顺序I/O，而对于MDTest，则使用空文件。

![image.png](/static/img/55c84636036d4e7a43d01629ef7d536d.image.webp)
图3显示了2017年11月份列表中的节选。它显示IME在IOR hard（随机）性能方面表现出色，但元数据性能比Lustre差。Shaheen上的Data Warp提高了顺序I/O的吞吐量，但随机I/O并没有太多受益。对于BeeGFS和Spectrum Scale的小型配置不足以得出有关吞吐量的结论。然而，对于元数据，与Lustre和IME相比，BeeGFS和最新版本的Spectrum Scale表现出色。 （数据比较老了~）

#### HPSS
在1990年代初，能源部的国家实验室和IBM意识到管理数据的呈指数增长所面临的巨大挑战。他们开发了高性能存储系统（HPSS），以提供可扩展的分层存储系统，满足处理未来硬件发展的要求。该架构的主要关注点是分层存储管理（HSM）和数据归档。它是当今存储系统中广泛使用的解决方案，主要用于磁带存档的管理。仅科学数据的总管理数据量就达到2.2 EB 。（可见国外的技术研发早了20多年）
#### ECFS和MARS
由欧洲中期天气预报中心（ECMWF）开发的其他专注于数据归档的存储系统是ECMWF的文件存储系统（ECFS）和气象存档和检索系统（MARS）。一个HPSS管理这两个系统的磁带存档，以及ECFS的磁盘缓存，文件可以使用唯一路径访问。MARS是一个提供类似数据库接口的对象存储。通过使用自定义语言中的查询，可以设置一系列相关字段，然后将其组合成一个包并存储在系统中。字段数据库（FDB）缓存经常访问的字段。ECFS只包含相对较少的并发使用的文件，主要进行写操作。然而，MARS中的文件同样重要，主要进行读操作。因此，这两个系统为对天气建模感兴趣的研究人员提供了强大的存储管理。MARS允许高性能计算（HPC）用户访问过去30年来只存储在GRIB和BUFR格式中的大量气象数据。更多关于ECFS的描述可以参考前面的文章分析。
#### Ceph
Ceph是一个免费且开放源代码的平台，提供在单个分布式集群上进行文件、块和对象数据存储的功能。该系统在可靠自主分布式对象存储（RADOS）系统的基础上实现了分布式对象存储。它负责将数据迁移、复制、故障检测和故障恢复到集群中。Ceph还集成了符合近POSIX规范的CephFS文件系统，使许多应用程序能够利用可扩展环境的优势和功能。Ceph利用智能对象存储设备（OSD）。这些单元为与它们进行交互的所有客户端提供文件I/O（读取和写入）功能。数据和元数据是分离的，因为所有元数据修改操作都由元数据服务器（MDS）执行。Ceph动态地在数十个甚至数百个MDS之间分配元数据管理和文件系统目录层次结构的责任。
然而，Ceph仍然存在一些缺点。其中之一是在一个集群中只能部署一个CephFS的限制（比较老的结论了），以及可靠性在实际应用场景中的当前测试阶段。某些功能和实用工具仍处于实验阶段。例如，使用快照可能会导致客户端节点或MDS意外终止。此外，Ceph设计的基础是HDD，需要在将磁盘替换为SSD并且数据访问模式是随机时进行性能改进[71]。
### 网络交换[4]
网络互联是连接HPC系统中各个节点的关键部分。它提供高带宽、低延迟的数据传输通道，用于计算节点之间的通信和数据交换。常见的HPC网络互联技术包括InfiniBand、以太网和光纤通道等。
### 集群管理[5]
##### 登录节点[]
登录节点是用户访问到集群的节点，通过登录节点可操作集群或访问其他节点，用户可以在该节点上自定义软件编译安装，挂载共享存储，同时也是绑定公网 IP 的节点，用户可以通过此节点进行外网通信上传下载文件等。
##### 管控节点
管理节点用于管理和监控整个HPC系统的运行。它们负责集群管理、作业调度、资源分配、错误检测和系统监控等任务。管理节点通常运行管理软件（如LSF、Slurm等）和其他系统工具，用于管理和控制HPC系统的各个组件
##### 计算节点
计算节点是执行任务的节点，节点的能力和数量决定了集群的计算能力。计算节点可连接到共享存储，支持多个节点，挂载共享存储，计算节点又分为 CPU 计算、GPU 计算和裸金属计算类型，可以根据实际应用场景进行配置。
### 资源调度
#### SLURM（Simple Linux Utility for Resource Management）：
SLURM是一个开源的HPC调度器，广泛应用于高校、超算中心等HPC集群。它提供了丰富的功能，包括作业提交、资源分配、优先级管理、任务监控等。SLURM支持多种作业调度策略，如先进先出（FIFO）、公平共享（Fairshare）、优先级调度等。它还支持作业数组，可以一次性提交多个相似的任务。
#### PBS（Portable Batch System）：
PBS是另一个流行的HPC调度器，有商业版本PBS Professional和开源版本Open PBS。它具有强大的灵活性和可扩展性，适用于各种规模的HPC环境。PBS支持多种调度策略，如最短作业优先（SJF）、先来先服务（FCFS）、优先级调度等。PBS还可以根据用户和组织的需求进行自定义配置。
#### LSF（Load Sharing Facility）：
LSF是一种商业化的HPC调度器，由IBM开发。它在大规模集群中表现出色，支持多种调度算法，如公平调度、资源回收、优先级调度等。LSF还提供了高度可定制的作业调度规则和策略。
#### Torque/Maui：
Torque是一个开源的HPC调度器，Torque源于PBS的分支版本，用于管理和调度计算资源。Maui是一个与Torque配套的作业调度器，它提供了更高/级的作业调度功能。Torque/Maui组合被广泛用于中小规模的HPC集群。
#### Grid Engine：
Grid Engine是一种开源的HPC调度器，可以在分布式计算环境中进行资源管理和作业调度。Grid Engine支持多种调度策略和作业优先级管理。Grid Engine调度器最早由SUN公司开发，Oracle将其收购后，出现了多个分支版本，如Univa Grid Engine、Oracle Grid Engine、Open Grid Schedule等。
### 基础设施
#### 散热系统
风冷：利用风扇将冷空气吹过散热片或热管，将热量带走，是传统且基础的方案；液冷：冷板式液冷 (Direct-to-Chip / Cold Plate Cooling): 这是目前HPC中最常见的液冷方式之一。带有冷却液流道的冷板直接安装在发热量最大的组件（如CPU和GPU）顶部，热量通过冷板传递给冷却液，再由冷却液循环至冷却分配单元 (CDU) 或外部冷却系统进行热交换。浸没式液冷： (Immersion Cooling): 将整个服务器硬件（或关键部件）完全或部分浸入不导电的特制冷却液（如矿物油、氟碳类液体）中。背板热交换器 (Rear Door Heat Exchangers): 将热交换器安装在服务器机柜后门，利用冷水吸收服务器排出的热空气热量，在热空气进入数据中心环境前进行冷却。
参考文献：
1. [什么是高性能计算](https://zhuanlan.zhihu.com/p/84337096)
2. [高性能计算集群概述](https://console.cloud.vnet.com/docs/6523/163845)
3. [HPC存储和文件系统](https://console.cloud.vnet.com/docs/6523/163845)
4. [HPC系统架构](https://hpclib.com/hpc/HPC_Arch.html)
5. [什么是高性能计算](https://docsv4.qingcloud.com/user_guide/compute/hpc/intro/intro/?type=3)
6. [HPC中常见的调度器介绍](https://www.cnblogs.com/developer-tianyiyun/p/17603942.html)