AI运营（AIOps）不断成熟，企业开始发现企业AI的真正价值。根据研究，58%的最成熟的AI采纳者预期成本会适度或显著下降，利润率有所提升，其他关键业务指标也有类似的预期改进。随着生成式AI向代理型AI发展，从仅仅回答提示到自主执行任务，这些积极的结果预计将加速。
然而，这种成功并非没有代价：处于AI成熟阶段的企业报告称，他们在AI基础设施上的支出占其IT预算的24%，其中53%的受访者预计AI基础设施支出将进一步增加。那么，企业领导者如何确保这些好处能够抵消成本呢？
虽然没有一种灵丹妙药能够快速实现AI的投资回报率（ROI），但确实存在一些经过验证的策略，可以帮助企业减轻AI的成本负担，并优化其性能以实现预期的业务结果。一个重要的概念是，优化AI成本不仅仅是关于软件，而是关于将合适的AI工作负载匹配到合适的计算资源上。
战略性硬件部署：优化AI生命周期中的每个阶段
采取战略性硬件部署的方法解决了AI运营中的一个基本真理：训练和推理有着截然不同的计算需求，针对每个阶段使用正确的资源可以降低成本，并优化每个阶段的性能。
训练与推理的差异
AI模型的开发和训练代表了AI的研究与开发阶段，这一阶段需要大量的计算资源，且持续时间相对较短。这些工作负载在AI卓越中心中受益于集中化，其中最先进的GPU集群可以跨多个项目充分利用。这些环境通常配备像NVIDIA的H100或AMD的MI300X等高端GPU，优化了训练大型语言模型和其他复杂AI系统所需的并行处理能力。毫无疑问，这一高强度的阶段通常是AI生命周期中最昂贵的部分。
与此相比，推理——训练模型与最终用户互动的部署阶段——则需要完全不同的方法。推理工作负载需要更靠近数据源和用户进行分布，通常是在边缘数据中心，其中实时处理对按需提供操作性洞察至关重要。
对于推理，优先考虑的是优化延迟、性能和成本——这与训练阶段以原始计算能力为主的需求形成鲜明对比。每个阶段的独特需求最好通过不同的计算资源来满足，因此在AI生命周期中采取更为多样化的芯片战略，才能更好地控制成本并优化性能。
芯片多样性：提高效率的关键
芯片多样性——即根据不同AI任务使用不同类型的处理器——已经成为优化性能和控制成本的重要战略。尽管高端GPU在训练中表现卓越，但它们对于推理工作负载来说可能是“杀鸡用牛刀”，而专用的推理处理器或低端GPU可能在每瓦特和每美元的性能上提供更好的表现。
企业正越来越多地采纳混合方法：
无服务器推理实现芯片多样性
那么，芯片多样性在企业AI基础设施栈中实际如何运作呢？事实上，少数企业能够负担得起为支持生成式AI或代理型AI的大规模部署而采购所需的各种GPU和CPU资源。即使它们能做到，随着AI基础设施创新速度的加快，这些硬件投资也很快会变得过时。
实际上，无服务器方法是有效实施芯片多样性的最佳方式，可以控制AI的成本。无服务器推理利用云服务提供商管理的资源，根据AI工作负载和使用案例的需求自动管理和扩展计算资源，从而更轻松地在分布式边缘位置部署AI能力。
换句话说，基础设施问题交给那些每天专门处理这类问题的人来处理，优化资源分配以实现成本效益和性能。这种方法使得组织能够专注于为预期的业务结果构建有效的AI应用，而不是浪费资源在服务器维护上。
AI的不断发展，将芯片与特定的AI工作负载匹配的重要性将日益增加。那些能够掌握芯片多样性的艺术——为AI生命周期的每个阶段部署合适的计算资源——的组织，将能够更好地提供高效、成本效益高的AI解决方案。AI基础设施的未来不在于一刀切的方法，而在于从数据中心到边缘设备的多样化计算资源的精心协调。