英伟达在 CES 2025 上为桌面用户推出了 Project DIGITS AI 超级计算机。该超级计算机由 GB10 Grace Blackwell 超级芯片提供支持，使桌面用户能够在一个单元上运行高达 2000 亿个参数的大型语言模型 (LLM)，在两个联网单元上运行高达 4050 亿个参数。
开发 AI LLM 需要功能强大的计算机来处理正在处理的数据量。衡量 LLM 能力的一个指标是它开发的参数数量。具有更多参数的模型通常在推理和知识的 AI 测试中表现更好。
大多数桌面 AI 开发人员要么使用性能和模型大小有限的本地 GPU，如 Nvidia 4090.要么使用成本更高的订阅云 GPU 服务。Nvidia 4090 的 RAM 大小将 LLM 开发限制在大约 300 亿个参数。不幸的是，最近的开源 AI 模型远远超过了 Nvidia 4090 的能力。例如，xAI 的 Grok-1 是一个 3140 亿个参数的模型。
Project DIGITS 使用 Nvidia ConnectX 网络适配器在两个单元配置中轻松处理这些问题。每个单元都包含一个 20 核 ARM CPU、Nvidia Blackwell GPU、128 GB DDR5X RAM 和 4 TB NVMe 存储。每个 Blackwell GPU 都能够实现 1 PetaFLOP 的 FP4 AI 计算性能。尽管从 FP16 或 FP8 到 FP4 的下降降低了每次计算的准确性，但 Nvidia 投入了大量精力来实现在 FP4 上实现具有相似输出精度的 LLM 开发。GPU 还能够更快地处理 LLM 训练数据，因为 FP4 使用的位数更少。
与其他解决方案相比，使用 Project DIGITS 的主要优势在于，能够使用在 Nvidia AI Enterprise 平台上运行的相同 Grace Blackwell GPU 架构，轻松地将项目从本地系统移动到云。有兴趣的 AI 开发人员可以在 Nvidia Project DIGITS 网站上注册，以收到预计将于 2025 年 5 月推出 3000 美元 + 设备的通知。
