NVIDIA DGX Spark
128GB coherent unified memory适合模型规模
适合本地 AI 开发、推理、微调实验和较大模型部署评估。
优点
体积小，面向 AI 开发者，统一内存适合尝试更大模型。
限制
价格和供应需要确认，真实速度取决于模型、量化方式和推理框架。
适合客户：想把 AI 开发机放在办公室或桌面的团队、开发者和研究人员。
先看这几项
判断机器能不能跑，本质是在判断内存和任务。
同一台机器在不同模型、不同量化和不同上下文长度下表现会不一样。部署前先把这些条件说清楚，会少走很多弯路。
✓
显存或统一内存大小
✓
目标模型参数规模和量化方式
✓
是否需要多人并发访问
✓
是否需要视觉、音频或长上下文
✓
是否用于生产服务还是本地试验
主流机器
从桌面 AI 机器到多卡服务器。
RTX 4090 / RTX 5090 工作站
常见 24GB 到 32GB 显存适合模型规模
适合 7B、14B、32B 量化模型，以及部分 70B 低比特量化尝试。
优点
生态成熟，性价比高，适合个人和小团队本地部署。
限制
单卡显存有限，大模型高精度运行会受限制。
适合客户：个人开发者、内容团队、小型企业内部助手。
RTX PRO 6000 Blackwell 工作站
96GB GDDR7 显存适合模型规模
适合更大参数模型、本地推理服务和复杂多模态工作负载。
优点
专业显卡显存更大，适合稳定工作站部署。
限制
硬件成本高，需要合适机箱、电源、散热和驱动环境。
适合客户：预算更高、希望单机承载较大模型的企业和实验室。
多卡 GPU 服务器
按 GPU 数量叠加，常见 2 卡、4 卡、8 卡方案适合模型规模
适合 70B、百亿级 MoE、多人并发和企业私有推理服务。
优点
容量和吞吐可扩展，适合持续服务和团队共享。
限制
部署复杂度高，需要处理驱动、容器、网络、散热和运维。
适合客户：企业研发团队、AI 服务团队、需要并发访问的内部平台。
Apple Silicon 高内存 Mac
64GB、96GB、128GB 及以上统一内存机型适合模型规模
适合轻中量模型、量化模型、本地知识库和个人助手。
优点
安静、省电、桌面体验好，适合本地测试和演示。
限制
推理框架和速度与 CUDA 生态不同，不适合所有生产服务场景。
适合客户：个人、产品团队、需要低噪音本地 AI 体验的办公室。
Jetson / 边缘设备
按设备型号不同，从轻量内存到边缘 AI 高配机型适合模型规模
适合小模型、视觉边缘推理、离线设备和现场演示。
优点
可离线、可嵌入设备，适合边缘场景。
限制
不适合直接运行大参数模型，需要精简、量化或专用模型。
适合客户：机器人、工业现场、离线演示和边缘 AI 项目。
部署提醒
能跑起来只是第一步，稳定使用还要看场景。
如果只是个人试用，单机量化模型可能就够。如果是团队内部服务，还要考虑并发、权限、日志、知识库、启动脚本、网络访问和后续维护。
微信客服
不确定你的机器能跑多大模型？扫码微信发配置。
请发送机器型号、显卡型号、显存或统一内存大小、系统版本和目标模型。我们会先帮你判断适合的本地部署方向。
