华为周跃峰：中国大模型APP很多比西方领先，但模型时延是他们两倍，主要差别在于基础设施

作者｜张雅婷

8月27日，在华为AI SSD新品发布会上，华为数据存储产品线总裁周跃峰在演讲中提到，目前我国在AI基础设施建设中，有很多困难和挑战。

首先是数据量实在太大，训练越多参数的模型，我们需要越多的语料数据，这些数据需要考虑如何存得下、效率好、成本低。

同时，推理的体验也是巨大的挑战。过去我们只是简单的问答、短序列推理，现在越来越多的多模态融合长序列的推理，推理首token的时延成为非常重要的体验指标。

另外，token成本居高不下。截至今年6月底，日均token消耗量已经突破30万亿，1年半时间增长了300多倍，所以token的消耗对基础设施的成本是巨大的考验。

因此，AI未来要能够实现商业的正循环，需要从整体系统的效率以及性价比综合考虑和综合优化。在效率方面，我们碰到两个很大的困难：一是内存墙，二是容量墙。

他举例称，中国大量APP比西方领先，但模型时延是他们的两倍，每秒的token数量，以及所能处理能力的数量也是他们的1/10左右，主要差别在于基础设施的投资和效率。

“我们在训练大模型的时候，需要大量的数据。因此越来越多的语料消耗了我们大量存储空间，这意味着空间和电力的消耗。”

“在我们看来，存储在整个AI系统当中，以及它的优化是非常的至关重要。”这一次，华为在业界率先定义AI SSD，相对过去普遍的SSD，区别就在于高性能和大容量，希望通过AI SSD打破性能和容量的瓶颈。

据了解，华为在发布会上推出了三款AI SSD产品，分别为高性能系列的HUAWEI OceanDisk EX 560和HUAWEI OceanDisk SP 560，以及大容量系列HUAWEI OceanDisk LC 560，单盘容量最高可达245 TB，实现业界最大单盘容量。