百度百舸面向百度天池超节点的大模型推理引擎优化，持续降低昆仑芯 XPU 的 token 成本

Baidu AICLOUD

01-05

结合新硬件架构的特性，AI Infra 团队可以基于对上层模型算法特性的深度理解，进一步做 AI 工程上的软件优化，充分释放硬件潜能，在吞吐量、首 Token 延迟（TTFT）、每 Token 处理时间（TPOT）等核心指标上实现突破性增长。