26uuu 清华团队开源大模子推理引擎赤兔，杀青DeepSeek推理本钱缩短一半

IT 之家 3 月 14 日讯息26uuu，清华大学高性能策动权术所翟季冬训诫团队、清华系科创企业清程极智当天诱导通告，大模子推理引擎"赤兔 Chitu "现已开源。

据先容，该引擎初次杀青在非英伟达 Hopper 架构 GPU 及种种国产芯片上原生启动 FP8 精度模子，杀青 DeepSeek 推理本钱缩短一半、性能翻番。其定位为"出产级大模子推理引擎"，提供如下特质：

多元算力适配：不仅救助 NVIDIA 最新旗舰到旧款的多系列家具26uuu，也为国产芯片提供优化救助。

全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大界限集群部署，赤兔引擎提供可延迟的处分决议。

恒久沉稳启动：可欺诈于内容出产环境，沉稳性足以承载并发业务流量。

官方示意，现时开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，比较部分海外开源框架，杀青了 GPU 使用量减少 50% 的同期，推理速率提高 3.15 倍。

IT 之家附开源地址：https://github.com/thu-pacman/chitu26uuu