机器学习PAI现在带有all reduce 的算子是trace不出来的？结果会错？有办法绕过去吗？ -[阿里云_云淘科技]

匿名 • 2023年12月24日下午6:42 • 阿里云

机器学习PAI现在带有all reduce 的算子是trace不出来的？结果会错？有办法绕过去吗？如果只想融合下算子，除了aot autograd，还有其他方式吗？

以下为热心网友提供的参考意见

如果是只是想测下 fusion，直接用就可以了，dynamo 在 trace 的时候会 break 掉 collective ops。但社区已经在解决这个问题了，比如这个 RFC：https://github.com/pytorch/pytorch/issues/93173 ，以及这个 unit test：https://github.com/pytorch/pytorch/blob/main/test/distributed/test_inductor_collectives.py 。，此回答整理自钉群“BladeDISC用户支持群”

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/18742.html