中意资讯网 中意资讯网

当前位置: 首页 » 前沿资讯 »

毅伯智算发布DeepSeek满血版一体机

  为向行业提供真实、可验证的推理性能,软硬协同算力解决方案提供商毅伯智算,近日向市场推出搭载满血版DeepSeek-R1-671B的8卡推理一体机TORA3000。其推理性能达到业界领先水平,同时实现了硬件、组网、功耗的综合成本最优。

  当前,受限于GPU硬件性能,市场上满血版推理一体机提供了单机、双机甚至四机等多种部署方案。双机方案相对单机方案,硬件成本和功耗都进行了翻倍,四机方案则更高,还增加了额外的组网和运维成本。为降低部署成本、简化部署复杂性并保证性能,单机方案浮出水面。单机方案要求GPU支持FP8精度且单卡显存超过120GB,而目前市场上只有毅伯智算的TORA3000和英伟达H20-141G等产品可以满足。采用开源数据集和开源测试工具对两者进行推理性能测试,结果显示毅伯智算的TORA3000相比英伟达H20-141G的性能提升高达40%。

  毅伯智算在国内率先实现全栈自研。研发团队汇聚了超百名AI工程师,核心成员在人工智能与超算领域拥有超10年的研发经验。过去三年,研发团队始终致力于全栈式AI训推平台的研发,2024年推出了全栈式AI训推平台。

  TORA3000提供了软硬件一体化解决方案,真正实现了“开箱即用”,全面满足客户推理需求。1机8卡能实现超强性能,显著降低客户硬件成本;原生支持DeepSeek-R1-671B所采用的FP8精度,兼容FP64/32/16及INT8,在保证推理精度的同时有效降低部署成本;通过全自研的算子库、编译技术、推理框架等技术手段,实现更快计算效率、长文本和高并发请求支持、更高推理性能。 (若水)

未经允许不得转载: 中意资讯网 » 毅伯智算发布DeepSeek满血版一体机