HAMi 已在云厂商、互联网等数十家企业应用 异构算力利用率提升 5-10 倍

为破解算力瓶颈、异构算力利用率低等业界难题，第四范式与道客联合开源了异构 AI 算力管理工具 HAMi 。开源半年来，Github 下载量已突破 15 万次，已在云厂商、互联网、数据中心等超 40 家企业中应用，吸引了来自华为、SAP、星环科技等多家企业的开发者参与社区贡献，正逐渐发展成为最具活跃度与影响力的异构算力开源社区。

获得开源社区及用户的高度认可

凭借出色的易用性、广泛的适配性及完备的功能， HAMi 收获了来自华为、中国移动、科大讯飞、平安证券、H3C 等众多用户的认可，均表示 HAMi 对提升 GPU 资源利用率及大模型推理效率等方面作用显著。

科大讯飞：我们利用 HAMi 的 GPU 虚拟化和池化能力，在 AI 训练及微调等多场景中实现了大规模任务的灵活调度，并大幅提高了异构算力资源利用率，解决了任务高峰期的算力瓶颈问题。

作为 HAMi 社区的共建者，主流算力厂商也对 HAMi 之于推动异构算力发展表达了认可。

华为：在国内普遍应用异构算力的当下，HAMi 的出现有很积极的意义，有效化解异构算力利用率较低的业界难题，期待在未来继续与 HAMi 项目携手并进，加速推动异构算力应用及发展。

海光：随着 AI 逐步普及，算力充足且高效的供给成为企业关注的重心。HAMi 高兼容性及池化能力，让以 DCU 为代表的 GPU 算力，为企业提供了更多元化的算力选择，并极大改善了实际应用中算力粗放式运营等难题。

摩尔线程：生成式 AI 应用不断发展，市场算力需求达到新高度。HAMi 具备多元异构、灵活高效、可靠等多重优势，使得我们的全功能 GPU 产品能够发挥最大效能。我们早就关注到了 HAMi 项目，双方进行了深度适配与合作，旨在将国产算力带给更广泛的用户群体，持续为人工智能发展贡献力量。

与此同时，在开发者及开源社区的大力支持下，HAMi 接连成为 CNCF Landscape 及 Sandbox 代表项目，相关议题被 KubeCon 2024 Euro 和 KubeCon 2024 HK 收录，并实现了与 Volcano 等多个知名社区项目的无缝集成。

充分压榨算力，显著提升异构算力利用率

随着 AI 大模型、云原生技术普及及市场需求的飞速扩张，不同品牌、不同规格的多元异构算力越来越多的部署在企业中。但由于不同算力厂商间生态隔离、集群资源分配较为粗放等原因，异构算力资源利用率往往不尽如人意。据调研显示，3/4 的企业 GPU 资源利用率低于 70%，异构算力资源利用率低于 50%。因此，应用异构算力统一管理、分配、调度来释放异构算力潜能愈发重要。

HAMi （Heterogeneous AI Computing Virtualization Middleware）是基于第四范式 vGPU 等异构算力技术打造，并与道客联合开源的一款异构算力管理工具，实现对硬件集群平台化管理、算力资源共享、按需分配和快速调度，可有效提升 AI 算力资源利用率和计算执行速度，最多可节省 80% 硬件成本，提升 5-10 倍 GPU 综合利用率。

HAMi 主要功能包括：

主流算力部署及管理：全面适配国产/非国产算力，支持英伟达、华为昇腾、海光、寒武纪、天数智芯、沐曦、摩尔线程等不同类型算力集群的混合部署、统一调度和管理，并助力应用环境的国产化平稳逐步替代。

算力高效复用：通过虚拟化技术，实现“一卡多用”，即多个任务能够共享同一张显卡，通过算力资源的高效复用，提升硬件利用率，降低算力成本。

精细化资源管理：以设定的显存值或按比例分配 GPU 资源，确保任务使用的显存资源不会超过分配数值，满足企业对算力资源的精细化管理需求。算力切分精细至 1%，显存切分以 M 兆为单位。此外，可根据设备类型与应用负载灵活调配资源配置，确保高优先级业务得到稳定资源。