首页
服务
人工智能本地部署 实测结果 图像与视频 NeoCloud 测试 离线安保系统 数字化转型 专业摄影
团队
王辰 (Bruce) 工作经历 教育背景 联系我们

NeoCloud 测试结果

与我们在自有工作站上运行的同类引擎和模型,在租用的 NeoCloud GPU 上实测,首先从 Google Colab 开始。每测试一家 NeoCloud 服务商,就为其单独增加一节;所有 notebook 都公开在 GitHub 上。在 NeoCloud GPU 上实测的引擎和模型,首先是 Google Colab。

Google Colab

我们公开的 notebook 在 Google Colab Pro 的 GPU 运行环境上运行语言模型和图像模型。每个 notebook 只安装一个引擎,把模型一次性下载到 Google Drive,并通过一个带身份验证、兼容 OpenAI 的接口提供服务。2026 年 11 月在真实的 Colab 运行环境上逐个请求实测。我们公开的 notebook 在 Google Colab Pro GPU 上的实测结果,2026 年 11 月。

解码速度为温度 0 下一次 512 个 token 的回复。预填充速度和首 token 延迟使用约 3,500 个 token 的全新提示,在已加载的模型上测量(不复用前缀缓存);尚未用它重新测试的 notebook 标为“下次测试”。图像和视频速度按第一个结果之后每个结果计算。

L4 · 24 GB(RTX 4070 Ti 级别)

NVIDIA L4:单槽矮版数据中心 GPU,带金色鳍片散热器
NVIDIA L4 · 24 GB GDDR6 · 72 W,单槽 图片:NVIDIA
语言模型
模型 notebook引擎预填充 t/s首 token 延迟解码 t/s
nemotron-3.5-bolt-74b-iq2llama.cpp—下次测试—下次测试38
qwen3.8-27b-w4a16-sglangSGLang—下次测试—下次测试16
flash-next-gyro-sStrata—下次测试—下次测试68
qwen3.8-27b-exl3-2bpwTensorFold—下次测试—下次测试83
图像与视频模型
模型 notebook引擎输出每个结果耗时
flux3-klein-comfyComfyUI1024×1024 图像8 s
minimax-h3-l4-comfyComfyUI832×480,5 秒视频片段124 s
qwen-image-2.1-turbo-comfyComfyUI1024×1024 图像8 s
qwen-image-2.1-nf4Diffusers图像37 s
sdxl-baseDiffusers图像17 s
sdxl-turboDiffusers图像3 s

A100 · 80 GB(High-RAM)

NVIDIA A100 GPU 模块,可见芯片和 HBM 显存堆栈
NVIDIA A100 · 80 GB HBM2e 图片:NVIDIA
语言模型
模型 notebook引擎预填充 t/s首 token 延迟解码 t/s
nemotron-3.5-bolt-74b-iq2llama.cpp—下次测试—下次测试79
sage-a1.5-q4llama.cpp3,5581.00 s134
qwen3.8-27b-w4a16-sglangSGLang2,0181.76 s74
flash-next-strata-iq3-sStrata—下次测试—下次测试167
qwen3.8-27b-exl3-2bpwTensorFold—下次测试—下次测试144
图像与视频模型
模型 notebook引擎输出每个结果耗时
flux3-klein-comfyComfyUI图像3 s
minimax-h3-comfyComfyUI832×480,5 秒视频片段35 s
qwen-image-2.1-bf16-comfyComfyUI1024×1024 图像9 s
qwen-image-2.1-turbo-bf16-comfyComfyUI1024×1024 图像4 s
wan22-5b-comfyComfyUI832×480,5 秒视频片段61 s

G4 · RTX PRO 6000 Blackwell,96 GB

NVIDIA RTX PRO 6000 Blackwell 服务器版:双槽被动散热 GPU
NVIDIA RTX PRO 6000 Blackwell · 96 GB GDDR7 图片:NVIDIA
语言模型
模型 notebook引擎预填充 t/s首 token 延迟解码 t/s
basalt-flash-next-nvfp4-dq6kBasalt—下次测试—下次测试273
hyperqwen-qwen3.8-27b-dflash2HyperQwen—下次测试—下次测试~315
glm-maya-sMaya—下次测试—下次测试77
qwen3.8-27b-w4a16-sglangSGLang—下次测试—下次测试77

其余 A100 和 G4 notebook 仍在测试中。

GitHub 上的 Google Colab notebook →

想把大模型装到自己的设备上?

说说您现有的设备、想用的模型和要解决的问题,我们会为您规划合适的本地部署方案。

咨询部署方案