日本首个独立商用 GPGPU PD 推理集群推出

12月4日消息，Memory Tensor与商汤科技联合宣布成功推出业界首个国产GPGPU PD隔离商用推理集群。该解决方案将PD分离架构与内存张量的MemOS支持的内存系统深度结合，提供比同代NVIDIA A100约150%的推理性能。据悉，该联合解决方案将运行在商汤科技大型设备的国产GPGPU集群上。集成的内存、计算和调度设计在物理上分离了预取和解码过程，并优化了它们的调度。 P域主要负责高性能预处理任务，而D域则专注于低延迟实时交互解码。 MemOS 系统在这里执行复杂的内存编程。经过严格的生产级评估，集群整体性能提升75%以上，单卡并发量提升缓解了大约20%。只要首词生成时间稳定在2秒，端到端推理的性价比就显着超过A100。这标志着国家算力体系在大模型商业化应用方面取得新进展。商汤科技的大型设备为本次合作提供了底层计算基础设施支持，包括高效的算力池和智能调度能力。这一实践为国家计算能力运行复杂的人工智能应用提供了一条新的技术路径。 Memory Tensor和商汤科技表示，双方将继续深化合作，围绕大型集群和更复杂的内存管理任务，探索国家人工智能基础设施的新范式。 （袁学礼）本文来自网易科技报道。关注我们以获取更多信息和深入内容。