一、核心概述

开源项目 st 是一款专为大模型本地化/远程异构部署设计的推理优化工具。通过独特的 Offloading（异构卸载） 核心机制，st 能够将超出 GPU 显存容量的模型层分载（Offload）到系统内存（RAM）与固态硬盘（SSD）中，使得在显存受限的环境下，依然能顺利运行 Qwen 2.5 32B、DeepSeek V3 / R1 等超大参数量的开源模型。

本教程将结合腾讯云 CloudStudio 提供的免费 GPU 云端环境，手把手演示如何使用 st 部署 DeepSeek 系列模型。该方案彻底解决了本地硬件显存不足的痛点，通过显存与内存联动，实现了低成本甚至零成本体验顶尖大模型的目标。

本教程根据 YouTube 视频字幕整理，原始视频链接见原文出处。

二、实操步骤与核心流程详解

1. 平台登录与环境准备

   • 访问腾讯云 CloudStudio 平台，使用 GitHub 账户登录授权。
   • 新用户绑定后可获取初始算力时长，亦可通过每日签到领取免费 GPU 算力资源（支持 A10、A100 40G 等高算力显卡）。

2. 选择并初始化模板

   • 在 CloudStudio 的应用推荐或模板市场中搜索关键词 「st」。
   • 选择预置好的 st 无头（Headless）部署模板（如 st DeepSeek 社区模板）进行一键克隆与创建。
   • 加载完成后，系统会自动呈现基于 Web 版 VS Code 的工作区界面。

3. 定位工作目录与启动服务

   • 打开底部的 Terminal 终端，通过 cd 命令切换至模型对应的项目文件夹： cd <特定模型目录>
   • 运行默认启动脚本： ./setup.sh

4. 自定义高级参数配置（可选）

   • 设定上下文窗口：若需调整上下文长度，可追加 --context 参数，例如设置为 16K 或 64K： ./setup.sh --context 16K
   • 强制重置部署：若需要重新加载或更新部署设置，追加 --setup 参数即可： ./setup.sh --setup

5. 资源加载与服务验证

   • 执行脚本后，st 开始将模型权重载入内存与显存。示范环境中约占用 20~21GB 显存以及 60~67GB 系统内存。
   • 加载成功后，后台会自动开启 8080 端口。点击 CloudStudio 提供的外部映射链接即可进入 Web 对话交互界面。

三、实战技巧与核心小结

• 推理性能评估：在 DeepSeek 模型深度思考（Thinking）阶段，响应准备时间较长（约 100~150 秒）；一旦开始吐字，Token 输出速度可提升并稳定在 11~16 tokens/s，完全能满足常态化文本生成与代码辅助需求。
• 标准 API 接口集成：st 部署完成后，不仅提供 Web UI，还默认暴露标准的 OpenAI 与 Claude 兼容 API 接口。用户可直接在 Cursor、VS Code 等编辑器中配置该本地 URL 和模型名称（如 DeepSeek），无缝替换付费 API。
• 本地硬件部署避坑建议：
  1. 硬盘类型：强烈建议安装在 NVMe SSD 上，机械硬盘（HDD）的读写延迟会导致加载和推理速度严重下降。
  2. 硬件配比：若在本地 PC 运行，建议 GPU 显存保持在 20GB 以上（如 RTX 3080 20G 改版或 RTX 4090），系统 RAM 至少配备 50~64GB。