阿里云全面升级GPU云服务：AI大模型推理性能可提升100%

转载：https://ai.zol.com.cn/885/8853291.html

2024-07-19 17:49:37·[??中关村在线 原创??]·作者：十三号胡同

7月19日，阿里云宣布推出全面升级的GPU云服务。此次升级包括全新优化的GPU套件和多GPU推理服务性能最大提升达到100%。针对调用GPU算力最常用的容器技术，阿里云还推出了ACK云原生AI套件，帮助企业更高效地开发和部署AI应用。

随着AI大模型应用的普及，单个GPU已难以满足全部需求，多GPU推理时代已经到来。因此，在资源紧缺的情况下实现高效的GPU互联变得至关重要。阿里云通过进一步优化底层AI通信加速库DeepNCCL来提高其在推理场景下的性能表现。

在同一硬件环境下，Token输出吞吐量至少提高了14%，首Token时延降低了15%。同时，通过深度优化，推理加速性能也得到显著提升。Token处理能力增加了100%，即相同的资源可以支持两倍以上的业务需求。

为使模型部署、扩展更加简单，ACK（Alibaba Cloud Container）容器服务还具备自动化编排和GPU高效管理调度的能力。为进一步提高AI应用运维效率，阿里云推出了ACK云原生AI套件，并在Kubernetes、细粒度共享、AI任务调度、训练数据加载以及大模型推理服务启动等关键领域进行了增强和加速。

例如，在针对频繁加载远程存储数据的需求方面，ACK云原生AI套件可提高训练数据读取性能30%以上，并降低大模型推理服务冷启动时延至70%以上。海艺AI就是采用阿里云GPU云算力及ACK容器服务的先行者。使用之前的方法生成一张图片平均耗时20秒，而现在切换到阿里云后，在等待队列延迟不超过分钟级的前提下，平均推理耗时仅为3.95秒，整体性能提升至少达到50%。

根据Forrester最新的全球AI基础设施解决方案研究报告，在综合产品能力指标上，阿里云位居全球第二位，已成为中国AI大模型的公共底座。零一万物、百川智能、智谱AI、昆仑万维、vivo、复旦大学、巨人网络等大批企业和机构都在阿里云上训练大模型，并通过它对外提供服务。小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等也已经接入了通义大模型并为消费者和客户提供丰富的AI应用服务。

本文属于原创文章，如若转载，请注明来源：阿里云全面升级GPU云服务：AI大模型推理性能可提升100%https://ai.zol.com.cn/885/8853291.html