显存的苦逼

C. Qiu 于 2025-02-28 发布

唉,1660Ti 的苦逼

GPT-SoVITS 是由花佬开发的音色克隆项目,也是我非常喜欢的新玩具。

今天花佬更新了 GPT-SoVITS v3 版,本苦逼兴高采烈地更新,正欲重新炼丹,然而大升级的底模据说要吃到 12G 显存训练 (25.4.28更新:现在引入了 LoRA 和一些切分黑科技,但训练集一旦稍大些,仍需要 8G 打底),模型直接吃上了内存/CPU 调度,痛失 GPU 加速。

实际上去年 8 月 GPT-SoVITS 更新了 v2 版本以来,底模已经从 2k 小时扩展到 5k 小时,理论上对显存要求更高。

然而在我的切片训练集上,基本没有爆过显存。

因此我一直将 GPT-SoVITS 视为低消耗小项目,从没想到这东西也能爆了 1660Ti 可怜的 6G 显存。

当然更不用说大语言模型的本地部署,上个 7B 量化都够呛。

不止一次想装个台式机,魔改 2080Ti 22G 或 4060 Ti 16G 足够作为 AI 时代的平民玩具。退一步讲打打游戏搞点生产力也凑合。

然而未来还需四海奔波。

欲放眼新款笔记本,移动端 70Ti 以下的新 N 卡怕是未来两代都没啥看头。

唉,显存,唉,老黄