CUDA 优化之 PReLU 性能调优

OneFlow

2022-05-17

InsightFace模型里大量使用了PReLU激活函数，而PReLU的工作模式有两种：1. PReLU(1)，此时权重alpha的形状为(1, )，等价于一个Elementwise操作。2. PReLU(channels)，此时权重alpha的形状为(channels, )，和输入特征(N, C, H, W)中C的大小是对应的。