2.4. 什么是特殊功能单元?(SFU)

流式多处理器 (Streaming Multiprocessors, SMs) 中的特殊功能单元 (Special Function Units, SFUs) 可加速特定算术运算。

H100 流式多处理器(SM)的内部架构图。特殊功能单元以褐红色显示,与加载/存储单元 (Load/Store Units)一起展示。修改自 NVIDIA 的 H100 白皮书

对于神经网络工作负载而言,最值得注意的是超越数学运算,例如 expsincos

与特殊功能单元相关的 流式汇编器 (Streaming Assembler, SASS) 指令通常以 MUFU 开头:MUFU.SQRTMUFU.EX2。有关使用 MUFU.EX2 指令在 CUDA C++ 中实现 expf 内置函数的示例汇编代码,请参阅 此 Godbolt 链接