Soup：支持低显存微调 8B 大模型的 Python 工具

Soup 是一款面向大语言模型微调的开源 Python CLI 工具。它核心通过 Layer Streaming（逐层流式加载）技术降低显存占用，解决了低配置设备无法本地微调大模型的问题，让 4GB 显存的消费级显卡也能运行 8B 模型的微调。

主要特性与功能包括：

• 极低显存占用：RTX 3050 Laptop 4GB 实测峰值显存仅 3.32 GB，速度达 119.6 tok/s。
• 极简配置：支持通过 YAML 文件配置训练参数，一行命令即可启动本地 QLoRA 微调。
• 智能检测：自动检测 GPU、量化及 batch size 等设置，并严格校验配置字段。
• 完善监控：支持记录并展示 validation loss 验证损失，并提供 Colab T4 测试环境。

该工具适合对大模型微调感兴趣但硬件资源有限的开发者与研究人员。目前 Layer Streaming 功能处于 BETA 阶段，建议在本地低显存设备或 Colab 环境中进行测试与体验。