SLURM作业状态与命令

# 冷热分层文件系统

![image.png](/static/img/62e25c0fe85eee83a3c4b96d1424489d.image.webp)



## 全闪存文件系统
## Intel DAOS
Intel 的DAOS是目前能看到的唯一开源的高性能的全闪分布式存储系统。
它具有以下特性：
1. 介质主要是 SCM和 NVME SSD存储。用Persistent Memory Development Kit (PMDK)来把SCM通过memory map的方式直接访问。通过Storage Performance Development Kit (SPDK)库直接访问NVM-Express SSD盘。
2. 在对外接口上，通过libdaos实现了两类接口：Native key-value接口和Native array接口。可以理解为：DAOS同时实现了一个分布式的KV存储系统和一个分布式的类似于Ceph RADOS的对象存储系统。基于libdaos库可以实现各种应用层的接口：POSIX filesystem，HDF5，HDFS Connector等。
3. By OS kernel：直接使用PMDK，SPDK等用户态库绕过操作系统直接访问SCM和NVME SSD等高性能设备。
4. RDMA：实现用户空间数据端到端的数据拷贝。
5. UTL（user level thread）用户态线程或者称为协程的概念。
## 主文件系统
例如共享存储文件系统
## 归档文件系统
归档文件系统是一种用于长期存储不常用、历史性数据的存储管理机制，旨在将旧数据从昂贵的高性能主存储迁移到低成本的容量存储（如归档介质或云端），以优化存储空间并降低成本。它通常支持自动归档、文件索引与搜索功能，并能通过保留快捷方式使用户在需要时透明访问数据。

集群文件系统

# 无根docker
运行无 root Docker 利用了用户命名空间。该子系统提供跨进程的权限隔离和用户身份隔离
# OCI开放容器标准
OCI，Open Container Initiative，是一个轻量级，开放的治理结构（项目），在 Linux 基金会的支持下成立，致力于围绕容器格式和运行时创建开放的行业标准。
OCI 目前提出的规范有如下这些：


| 名称 | 版本 |
| --- | --- |
| Runtime Specification | v1.0.1 |
| Image Format | v1.0.1 |
| Distribution Specification | v1.0.0-rc0 |

其中 runtime 和 image 的规范都已经正式发布，而 distribution 的还在工作之中。runtime 规范中介绍了如何运行解压缩到磁盘上的 Filesystem Bundle。在 OCI 标准下，运行一个容器的过程就是下载一个 OCI 的镜像，将其解压到某个 Filesystem Bundle 中，然后某个 OCI Runtime 就会运行这个 Bundle。细节此处不再展开，感兴趣的同学可以直接阅读 Spec。
# cgroups
cgroups（Control Groups）是 Linux 内核功能，用于对系统中的进程进行分组，并精细化限制、分配、监控和调度资源（如 CPU 时间、系统内存、网络带宽等）。它主要用于实现资源隔离，是 Docker、Kubernetes 等容器技术和系统管理工具的重要基础。

SLURM集群镜像开发

RoCE 

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)



# 介绍
Spine-Leaf (脊柱-叶片) 架构是现代数据中心常用的两层高性能网络拓扑，旨在提供低延迟、高可扩展性和高可靠性。叶交换机连接服务器，脊柱交换机连接所有叶交换机，通过全网状连接实现高效的流量负载均衡和冗余备份，适用于云计算和分布式计算场景。 
# 传统三层数据中心网络
![image.png](/static/img/e0c5f2509e22691ff00cba59b86b26e8.image.webp)
## 接入层(将工作站接入网络)
接入层的面向对象主要是终端客户，为终端客户提供接入功能，接入层的主要功能是规划同一网段中的工作站个数，提高各接入终端的带宽。
## 汇聚层(提供基于策略的连接)
汇聚层连接网络的核心层和各个接入的应用层，在两层之间承担“媒介传输”的作用。在应用接入核心层之前先经过汇聚层进行数据处理，以减轻核心层设备的负荷。汇聚层提供内容交换、防火墙、SSL卸载、入侵检测、网络分析等服务。
## 核心层(网络的高速交换主干)
核心层在互联网中承载着网络服务器与各应用端口间的传输功能，是整个网络的支撑脊梁和数据传输通道。核心交换机为进出数据中心的包提供高速的转发，为多个汇聚层提供连接性，核心交换机通常为整个网络提供一个弹性的L3路由网络。
**为了有效的解决环路问题，做出了改进：
**

![image.png](/static/img/64baeb66f748fa6f9a13d4c55a262c75.image.webp)
**为了改善阻塞 VLAN 中的冗余路径。思科引入vPC(Virtual Port Channel)技术，消除了生成树阻塞端口**

![image.png](/static/img/0553b916f43f01ba8eb6bc31ec26e403.image.webp)

## 新的问题
虚拟化技术需要有了动态迁移的需求。将一个虚拟机从一台物理服务器移动到另一台物理服务器的过程。该过程对于最终用户来说是无感知的，所以要保证在迁移过程中，虚拟机的业务不能中断。
![image.png](/static/img/e68db1b95d428827c077a924e8022fc6.image.webp)
## 虚拟化技术引发的改进：
为了使用虚拟机的大范围和跨区的迁徙，做了以下两个改进点：
1. 从小的两层网络变为大范围的两层网络
2. 虚拟机可在大两层网络种进行前夕

![image.png](/static/img/da345f514800c72383870f33d5c445dd.image.webp)
## 数据中心的流量转变
传统的流量是为南北向流量占主导地位的传统数据中心设计的，不适合东西向流量较大的云数据中心。
例如：东西向流量(如跨POD的二层和三层流量)必须经过汇聚层和核心层的设备转发，不必要地经过许多节点。传统网络通常设置1:10到1:3的带宽超额比，以提高设备利用率。随着超额订阅率，每次流量通过节点时性能都会显着下降。此外，第 3 层网络上的 xSTP 技术加剧了这种恶化。
# Spine-Leaf架构
Clos 网络以其发明者Charles Clos命名，Charles Clos是一名电话网络工程师，他在 1950 年代需要解决如何应对电话网络的爆炸式增长这一问题. 提出了现在称之为 Clos 的网络架构。

![image.png](/static/img/f686391acbd9e19e43cf6a33424969c0.image.webp)

Spine-Leaf体系架构是由Spine和Leaf这两个交换层组成的数据中心网络拓扑结构。Leaf层由访问交换机组成，汇聚来自服务器的流量，并直接连接到Spine或网络核心。Spine交换机在全网格拓扑中互连所有Leaf交换机。上图中，绿色节点代表交换机，灰色节点代表服务器。在绿色节点中，最上面的是Spine节点，下面是Leaf节点。
# Spine-Leaf与传统网络设计对比

![image.png](/static/img/7d48d480651c9b01376faf03ec5cc910.image.webp)
1. 放弃了生成树协议 (STP)
2. 越来越多地使用固定端口交换机而不是网络骨干的模块化模型
3. 横向与纵向基础架构的扩展