导航菜单
首页
排名 涨幅榜 跌幅榜 24h成交额 新币榜
快讯 机构 观点 人物 专题

电信公司利用 NVIDIA AI 工厂塑造代币计量的未来

电信公司采用 NVIDIA 的代币计量 AI 模型,从 GPU 租赁转向可扩展的 AI 服务,与全球代币计费趋势保持一致。

Telcos Shape Token-Metered Future with NVIDIA AI Factories

电信公司正在转向以代币计量的 AI 服务模式,利用 NVIDIA 的 AI 工厂基础设施来转变企业 AI 的交付和货币化方式。通过将价值链从每小时 GPU 租赁转向代币即服务 (TaaS),电信公司旨在利用对可扩展、基于使用的人工智能服务不断增长的需求。

NVIDIA 的云合作伙伴 (NCP) 参考架构支撑着这些主权 AI 工厂,提供安全的国内计算能力和构建代币计量服务的工具。该模型与科技行业更广泛的转变相一致,其中人工智能的使用越来越多地按处理的代币计费,而不是通过固定费用或按小时的云使用量计费。在这种情况下,令牌表示由大型语言模型 (LLM) 处理的输入或输出文本的基本单元。

为什么电信公司押注于代币

以代币计量的人工智能服务的经济效益是显而易见的。在传统的每小时 GPU 模型下,收入与 GPU 的租用时间挂钩,从而限制了上涨空间。相比之下,TaaS 允许电信公司根据处理的代币数量进行计费,将收入与基础设施时间脱钩,并根据实际的人工智能需求进行扩展。

例如,NVIDIA 估计中型 AI 模型可以在单个 GPU 上每小时处理 3000 万个代币,如果定价为每百万代币 1 美元,则每小时的收入潜力为 30 美元。如果利用率为 60%,则每个 GPU 每年的收入约为 157,680 美元,比每小时 3 美元的 GPU 模型下的 18,400 美元年收入高出 8 倍多。 NVIDIA B200 级等下一代 GPU 可以使令牌吞吐量翻倍,从而进一步放大 TaaS 模型的收入潜力。

令牌计费:不断增长的全球趋势

令牌计量方法反映了更广泛的行业转向基于消费的人工智能计费。 OpenAI 和 GitHub Copilot 等主要参与者已经采用了基于代币的定价,根据实际的人工智能使用情况调整成本。中国电信巨头最近推出了 AI 代币捆绑,将代币视为移动数据计划,研究显示代币价格已暴跌(自 2020 年以来已暴跌 600 倍),使这种模式对企业越来越可行。

采用 NVIDIA 驱动的 AI 工厂的电信公司可以将代币计量服务打包到 API、垂直 AI 应用程序和市场中。反过来,企业将这些服务集成到他们的工作流程中,为消耗的代币而不是不透明的基础设施指标付费。该模型满足了企业对可预测性能指标(例如每秒令牌数和首次令牌时间 (TTFT))不断增长的需求。

NVIDIA AI 工厂:代币经济背后的技术

NVIDIA 的 AI 工厂堆栈从经过认证的基础设施(GPU、CPU、高速网络和存储)开始,并通过基于 Kubernetes 的多租户环境编排进行了增强。除了基础设施之外,NVIDIA 还提供 NeMo 等开发人员工具来微调基础模型和 AI 市场,从而实现代币计量产品的商业化。这些工具使电信公司能够超越原始计算,提供高利润的人工智能应用程序。

电信公司还可以了解令牌级 KPI,例如使用情况、性能和每个令牌的成本,从而实现精确的计费和优化。随着 NVIDIA 在每秒代币数和每代币成本方面的进步,电信公司可以不断提高效率和利润,有效地将其人工智能工厂转变为“代币工厂”。

电信公司的下一步是什么?

投资 NVIDIA 支持的基础设施的电信公司现在必须重点关注构建 AI 云堆栈并推出针对企业需求量身定制的代币计量服务。中国电信等早期采用者和 Rafay 等软件合作伙伴已经展示了该模型的可扩展性和盈利能力。

随着企业越来越需要具有明确 SLA 的基于使用的 AI 服务,电信公司处于独特的地位,可以凭借其主权基础设施和代币计量经济来领先。通过适应这种新的代币经济,他们可以从公用事业提供商转变为高价值的人工智能服务领导者,在人工智能市场的未来收入流中占据越来越大的份额。