一、服务器与PCIE相关的常见问题
1、PCIE作为服务器的重要差异化参数,作用是什么?
2、什么决定了服务器的PCIE参数?
3、PCIE的接口形态有哪些?目前主流的是哪些?
4、常见PCIE部件所需要的PCIE的资源(通道数)?
5、有足够的PCIE资源一定可以支持对应插卡吗?
6、PCIE3.0、4.0、5.0的市场普及情况?
7、服务器选型做配置时和PCIE有关的“坑” ?
8、常见CPU支持PCIE的资源情况?

二、PCIE决定服务器核心的IO扩展能力
服务器由管理系统、基础硬件和可选部件组成,可选部件中,PCIE决定了服务器最灵活的对外IO扩展能力。
三、什么决定了服务器的PCIE参数
决定服务器PCIE的因素有很多,包括了CPU、主板、Riser卡、 PCIE Switch等
1、CPU是核心:
服务器CPU有固定的PCIE lane数量及PCIE的代数,服务器可以支持多颗CPU从而实现更多的PCIE资源。
2、主板是关键:
主板是决定了能否将CPU的PCIE资源充分利用的关键,服务器也分旗舰和中低端,并不是所有主板都能把CPU资源利用充分。
3、Riser卡是重点:
通常服务器的标准PCIE槽位分为横和竖,横插PCIE需要搭配Riser扩展,影响PCIE数量。
4、PCIE SW是突破:
通过PCIE sw芯片可以扩展出更多的可用PCIE槽位,多数用在GPU机型及全闪机型。
以华为Purly平台双路服务器为例
1、2颗CPU最大支持96条PCIE
2、主板实现CPU的PICE外延
特点分析:
1、 CPU1的48条PCIE,共转化出一个x24和三个x8,x24用于扩展Riser卡,三个x8分别对应1个x8的Silmline、一个Raid卡槽和PCH
2、CPU2的48条PCIE,共转出一个x24、一个x8和一个x16,如图所示不做赘述。看懂的请点个赞哦!!!
四、常见的PCIE接口形态有哪些



MCIO接口出现,替代了Slimsas
Oculink->Slimsas->MCIO,通常是PCIEx8,但是版本从3.0-4.0-5.0
五、常见PCIE部件所需要的PCIE的资源情况



六、有足够的PCIE资源一定可以支持对应插卡吗
比如当你想安装1块PCIE插卡时(比如3090),PCIE不是唯一条件,还要考虑空间、供电、散热、兼容性等;
1、PCIE插槽的长度:
常见的有x4、x8、x16,长的可以兼容短的,反之不行。
2、服务的内部空间:
除了PCIE插槽的长度外还需要考虑宽度(几宽)、深度(长)。
3、PCIE的代数:
不同的PCIE代数所支持的带宽上限不同,例如:PCIE3.0x16的槽位是跑不满200Gb/s的网卡。
4、供电、功率和散热:
从供电方面,超过75W的插卡(DPU、GPU等)需要配套供电接口和供电线、功率方面配上IO插卡后整机功率不能超过电源的工作负载,还有在散热方面要经过测试保障运行温度在安全范围。
举例如下:




七、PCIE3.0、4.0、5.0的市场普及情况

八、服务器选型做配置时和PCIE有关的“坑”
服务器参数的各种最大支持存在“坑”,除了空间上的互斥关系外,因为总的PCIE数量有限,对应的PCIE槽位数、GPU支持数和NVME硬盘数也存在互斥,很多新手容易翻车。
注:PCIE插槽数量与GPU支持的数量和NVME的硬盘数量是相互制约的。
下面浪潮某款服务器的可用PCIE插槽与NVME硬盘、GPU支持关系图。

九、主流服务器CPU的PCIE通道数和速率
