1. 首页
  2. 网络运维
  3. 一文搞懂各类服务器PCIE知识点-【下篇】

一文搞懂各类服务器PCIE知识点-【下篇】

  • 发布于 2024-08-09
  • 12 次阅读

一、服务器与PCIE相关的常见问题

1、PCIE作为服务器的重要差异化参数,作用是什么?

2、什么决定了服务器的PCIE参数?

3、PCIE的接口形态有哪些?目前主流的是哪些?

4、常见PCIE部件所需要的PCIE的资源(通道数)?

5、有足够的PCIE资源一定可以支持对应插卡吗?

6、PCIE3.0、4.0、5.0的市场普及情况?

7、服务器选型做配置时和PCIE有关的“坑” ?

8、常见CPU支持PCIE的资源情况?

二、PCIE决定服务器核心的IO扩展能力

服务器由管理系统、基础硬件和可选部件组成,可选部件中,PCIE决定了服务器最灵活的对外IO扩展能力。

三、什么决定了服务器的PCIE参数

决定服务器PCIE的因素有很多,包括了CPU、主板、Riser卡、 PCIE Switch等

1、CPU是核心:

服务器CPU有固定的PCIE lane数量及PCIE的代数,服务器可以支持多颗CPU从而实现更多的PCIE资源。

2、主板是关键:

主板是决定了能否将CPU的PCIE资源充分利用的关键,服务器也分旗舰和中低端,并不是所有主板都能把CPU资源利用充分。

3、Riser卡是重点:

通常服务器的标准PCIE槽位分为横和竖,横插PCIE需要搭配Riser扩展,影响PCIE数量。

4、PCIE SW是突破:

通过PCIE sw芯片可以扩展出更多的可用PCIE槽位,多数用在GPU机型及全闪机型。

以华为Purly平台双路服务器为例

1、2颗CPU最大支持96条PCIE

2、主板实现CPU的PICE外延

特点分析:

1、 CPU1的48条PCIE,共转化出一个x24和三个x8,x24用于扩展Riser卡,三个x8分别对应1个x8的Silmline、一个Raid卡槽和PCH

2、CPU2的48条PCIE,共转出一个x24、一个x8和一个x16,如图所示不做赘述。看懂的请点个赞哦!!!

四、常见的PCIE接口形态有哪些

MCIO接口出现,替代了Slimsas

Oculink->Slimsas->MCIO,通常是PCIEx8,但是版本从3.0-4.0-5.0

五、常见PCIE部件所需要的PCIE的资源情况

六、有足够的PCIE资源一定可以支持对应插卡吗

比如当你想安装1块PCIE插卡时(比如3090),PCIE不是唯一条件,还要考虑空间、供电、散热、兼容性等;

1、PCIE插槽的长度:

常见的有x4、x8、x16,长的可以兼容短的,反之不行。

2、服务的内部空间:

除了PCIE插槽的长度外还需要考虑宽度(几宽)、深度(长)。

3、PCIE的代数:

不同的PCIE代数所支持的带宽上限不同,例如:PCIE3.0x16的槽位是跑不满200Gb/s的网卡。

4、供电、功率和散热:

从供电方面,超过75W的插卡(DPU、GPU等)需要配套供电接口和供电线、功率方面配上IO插卡后整机功率不能超过电源的工作负载,还有在散热方面要经过测试保障运行温度在安全范围。

举例如下:

七、PCIE3.0、4.0、5.0的市场普及情况

八、服务器选型做配置时和PCIE有关的“坑” 

服务器参数的各种最大支持存在“坑”,除了空间上的互斥关系外,因为总的PCIE数量有限,对应的PCIE槽位数、GPU支持数和NVME硬盘数也存在互斥,很多新手容易翻车。

注:PCIE插槽数量与GPU支持的数量和NVME的硬盘数量是相互制约的。

下面浪潮某款服务器的可用PCIE插槽与NVME硬盘、GPU支持关系图。

九、主流服务器CPU的PCIE通道数和速率