项目使用具有超高每瓦推理性能的超异构AI SoC芯片,基于以太网的集群RDMA 技术将48颗SoC互联,把算网融为一体,形成并行计算集群,用超算的思路重构了AI服务器。把...《查看全部》。
项目使用具有超高每瓦推理性能的超异构AI SoC芯片,基于以太网的集群RDMA 技术将48颗SoC互联,把算网融为一体,形成并行计算集群,用超算的思路重构了AI服务器。把超算装到盒子里,仅2U高,耗电不到500W,高达3600TOPS的算力,以及1152G内存,成本仅为主流厂商33%,功耗仅为15%,足以运行ChatGPT规模的大模型。