机器学习PAI基于sd 训练的脚本 改成训练大模型的网络比如小点的1.3B的 一般可以跑起来吗?-[阿里云_云淘科技]

机器学习PAI基于sd 训练的脚本 改成训练大模型的网络比如小点的1.3B的 一般可以跑起来吗?你们有跑通的例子参考吗?

以下为热心网友提供的参考意见

一段时间以前用dynamo + disc backend 跑过 llama7b finetune,但效果不是很好,主要受限于 dynamo 没有办法 trace collective ops ,此回答整理自钉群“BladeDISC用户支持群”

本文来自投稿,不代表新手站长_郑州云淘科技有限公司立场,如若转载,请注明出处:https://www.cnzhanzhang.com/18746.html

(0)
匿名
上一篇 2023年12月24日
下一篇 2023年12月24日

相关推荐

新手站长从“心”出发,感谢16年您始终不离不弃。