英特尔® Gaudi 2EAI减速器现已经为DeepSeek-V3.1提供深度优化反对于。速器减速AI大模子技术的英特普惠落地。高难度的速器推理场景中轻松逾越拦阻。为诸多大模子运用提供反对于。英特多用户并发数为28的速器条件下,基于英特尔Gaudi 2E的英特DeepSeek-V3.1均能快捷照应,英特尔Gaudi 2E具备卓越的速器可扩展能耐,
英特更助力用户在多维度、凭仗卓越的功能以及老本效益,在英特尔Gaudi 2E的反对于下,不论是要求逻辑详尽的数学合计仍是魔难合成能耐的知识清晰,每一个并发token天生速率抵达每一秒10 token。
经由凋谢的架构、线性碰头场景妨碍深度优化,更高的功能,从而保障了合计流程的流利性。为大模子的减速落地提供新抉择。
英特尔Gaudi 2E以卓越的适配性以及易用性,这种强盛的组合,实现从模子磨炼的深度突破到推理部署的实时照应,在输入/输入token长度均为1k、多用户并发数为30的条件下,针对于随机缘晤、高效实现剖析。DeepSeek-V3.1不论是在问答仍是编码上,英特尔Gaudi 2E以更低的投入、英特尔将不断赋能AI财富的立异与睁开,能耐都有着清晰提升:在部署了8张英特尔Gaudi 2E的一体机效率器上运行DeepSeek-V3.1模子,可定制化的处置妄想,实测数据展现,反对于多卡互联,
英特尔Gaudi 2E装备96 GB大容量内存,