转换规则 No. 114-120 #122

co63oc · 2023-06-23T23:52:53Z

PR Docs

已有映射文档增加转换规则
torch.autograd.backward
torch.autograd.functional.jacobian
torch.autograd.functional.hessian
torch.autograd.functional.vjp
torch.autograd.functional.jvp

115 torch.autograd.grad # 已存在

torch.cuda.device 文档 PaddlePaddle/docs#5966

PR APIs

torch.autograd.backward
torch.autograd.functional.jacobian
torch.autograd.functional.hessian
torch.autograd.functional.vjp
torch.autograd.functional.jvp
torch.cuda.device

[used AI Studio]

paddle-bot · 2023-06-23T23:52:58Z

Thanks for your contribution!

paconvert/api_mapping.json

tests/test_cuda_device.py

paconvert/api_matcher.py

tests/test_autograd_grad.py

tests/apibase.py

paconvert/api_matcher.py

ROckDog22 · 2023-07-03T07:38:47Z

paconvert/api_matcher.py

+            device = kwargs["device"]
+            if (
+                "replace('cuda', 'gpu')," in device
+                or 'replace("cuda", "gpu"),' in device


我觉得不用判断device是不是数字，而是直接转化为静态代码判断torch.device: int-> str().replace('cuda', '')这样是不是代码简单一些

不判断数字那转换后的代码增加了逻辑

zhwesky2010 · 2023-07-05T04:08:27Z

paconvert/api_matcher.py

+                else:
+                    return None
+            elif (
+                "replace('cuda', 'gpu')" in device or 'replace("cuda", "gpu")' in device


这个判断比较多有些复杂，有办法统一成一个吗

下面的return None表示不支持，什么情况下会不支持呢

如果不包含字符串replace('cuda'，并且不是数字，那是其他不能识别的场景，返回None不支持

总共就两个判断，目前感觉代码可读性不太好

if nums: pass elif 'replace' in device: pass else: return None

有以下几种情况
1 数字参数 torch.cuda.device(device=0) paddle不使用id=，是kwargs参数转为args参数
2 不是数字，包含index参数 torch.cuda.device(torch.device("cuda", 0))，转为 str('cuda').replace('cuda', 'gpu'), index=1
3 不是数字，不包含index参数 torch.cuda.device(torch.device("cuda")), 转为 str('cuda').replace('cuda', 'gpu')
4 其他输入，不是数字也不包含 torch.cuda.device(torch.device("cpu"))

zhwesky2010 · 2023-07-05T04:10:52Z

paconvert/api_matcher.py

+
+        args = []
+        new_kwargs = {}
+        for ele in kwargs:


这里有办法不去改动GenericMatcher公共函数吗

是paddle使用id，paddle没有.index调用，比如 torch.device("cuda").index 这样不能转 paddle，如果是int参数没有名称，比如id=0，paddle没有paddle.CUDAPlace(id=0)，需要使用paddle.CUDAPlace(0)，kwargs转args

我觉得这里你写的太复杂了，这个api的参数都是固定的就一个，应该不需要用各种循环、dict、列表来组装吧

有以下几种情况
1 数字参数 torch.cuda.device(device=0) paddle不使用id=，是kwargs参数转为args参数
2 不是数字，包含index参数 torch.cuda.device(torch.device("cuda", 0))，转为 str('cuda').replace('cuda', 'gpu'), index=1
3 不是数字，不包含index参数 torch.cuda.device(torch.device("cuda")), 转为 str('cuda').replace('cuda', 'gpu')
4 其他输入，不是数字也不包含 torch.cuda.device(torch.device("cpu"))

这个目前先删掉吧，问题在于torch.device应该转换为paddle.CUDAPlace，目前将其转换为字符串不太对，我们会修一下torch.device的转换，将其转换为paddle的place，然后再开发吧。

4可以不用管，没有这种用法，只需处理torch可正常运行的代码。1直接判断kwargs['device'].isdigit()，2、3直接取kwargs['device']+"get_device_id()"

已删除torch.cuda.device

luotao1 · 2023-07-05T12:03:21Z

需要解决下冲突

co63oc · 2023-07-05T12:56:47Z

需要解决下冲突

已修改

zhwesky2010 · 2023-07-11T04:07:20Z

@co63oc 单测失败了，需要再看一下

zhwesky2010 · 2023-07-11T04:13:08Z

@co63oc 之前提交的torch.Tensor.histogram存在映射关系错误，由于torch返回两个Tensor，paddle返回一个Tensor，返回数量都对不上，直接转换是错误的，映射关系应为：参数不一致。转换完之后应该是任意用法都可使用，单测要充分涵盖全面，目前在单测里目前通过了一些if-else的判断trick来绕过，所以能通过。

麻烦重新改一下，不然会造成转换后的代码存在运行失败的问题。

co63oc · 2023-07-11T07:17:31Z

@co63oc 单测失败了，需要再看一下

单测失败是 tests/test_Tensor_multinomial.py 引入torch.mps，CI环境没有torch.mps模块

co63oc · 2023-07-11T07:20:50Z

@co63oc 之前提交的torch.Tensor.histogram存在映射关系错误，由于torch返回两个Tensor，paddle返回一个Tensor，返回数量都对不上，直接转换是错误的，映射关系应为：参数不一致。转换完之后应该是任意用法都可使用，单测要充分涵盖全面，目前在单测里目前通过了一些if-else的判断trick来绕过，所以能通过。

麻烦重新改一下，不然会造成转换后的代码存在运行失败的问题。

    result = torch.tensor([[1., 2, 1]]).histogram(bins=4, range=(0., 3.))
    if hasattr(result, "hist"):
        result = result.hist
    result = result.to(torch.float32)

paddle 没有hist属性，torch返回两个Tensor，paddle返回一个Tensor，没明白这单测是要怎么修改

zhwesky2010 · 2023-07-18T07:54:47Z

@co63oc 之前提交的torch.Tensor.histogram存在映射关系错误，由于torch返回两个Tensor，paddle返回一个Tensor，返回数量都对不上，直接转换是错误的，映射关系应为：参数不一致。转换完之后应该是任意用法都可使用，单测要充分涵盖全面，目前在单测里目前通过了一些if-else的判断trick来绕过，所以能通过。
麻烦重新改一下，不然会造成转换后的代码存在运行失败的问题。
    result = torch.tensor([[1., 2, 1]]).histogram(bins=4, range=(0., 3.))
    if hasattr(result, "hist"):
        result = result.hist
    result = result.to(torch.float32)
paddle 没有hist属性，torch返回两个Tensor，paddle返回一个Tensor，没明白这单测是要怎么修改

问题不在单测，在于怎么能保证转换后与转换前计算结果一致，比如通过组合等形式，这个工作是保证用户模型代码中的任意用法case能够运行通过，而不是保证单测能运行通过。

hist Tensor有没有办法组合替代得到呢，如果没有那就是无法实现的Matcher，在issue下直接登记 功能缺失 即可。

zhwesky2010

目前case是测了能跑的功能，unsupport_args也写下case吧，通过在单测里设置unsupport=True来跑
目前比较结果前，做了不少设置和修改，直接比较裸的结果会更好，覆盖问题更全面

zhwesky2010 · 2023-07-18T07:58:55Z

tests/test_autograd_functional_vjp.py

+        h = torch.autograd.functional.vjp(func, x, v)
+        result = h[:]
+        for item in result:
+            item.requires_grad = False


这个最后是不是不需要设置.requires_grad为False，也能比较

提示torch和paddle的返回requires_grad值不一致

torch requires_grad=False
paddle stop_gradient=False 两个值应相反

zhwesky2010 · 2023-07-18T08:00:01Z

tests/test_autograd_functional_hessian.py

+        h = torch.autograd.functional.hessian(func, x)
+        result = h[:]
+        result.requires_grad = False
+        result = torch.flatten(result)


后面不加这些处理，直接比较h能跑过不，或者直接比较result能跑过不

使用h返回没有numpy属性错误

zhwesky2010 · 2023-07-18T08:00:52Z

tests/test_autograd_backward.py

+        z2 = torch.matmul(x, y)
+
+        torch.autograd.backward([z1, z2], [grad_tensor1, grad_tensor2], True)
+        x.grad.requires_grad=False


这个最后是不是不设置.requires_grad，能比较不

返回 requires_grad 属性不一致错误

co63oc · 2023-07-19T01:40:16Z

hist Tensor有没有办法组合替代得到呢，如果没有那就是无法实现的Matcher，在issue下直接登记 功能缺失 即可。

已在issue添加

zhwesky2010 · 2023-07-19T07:38:41Z

@co63oc torch返回的bin能否通过paddle.linspace来实现

zhwesky2010 · 2023-07-19T07:45:11Z

这个stop_gradient的问题是因为paddle的所有梯度的stop_gradient也为False，而torch的梯度的requires_grad为True，不过没有太大影响，只是这个属性不同，我先合入了。

后面可以看下两点：

unsupport_args的参数也可以加点case，在单测里设置unsupport=True就可以跑了
torch.histogram主要是输出Tensor个数没对上导致完全无法转，应该可以用paddle.linspace arange 等API模拟生成bins，组合实现出这个API，需要再试下方案，如果可以的话， torch.histogram/ torch.Tensor.histogram这两个的文档和Matcher都要同时修改

co63oc · 2023-07-19T07:49:04Z

@co63oc torch返回的bin能否通过paddle.linspace来实现

如果min, max都为0，边界不容易获取，需要计算数据

co63oc · 2023-07-19T08:11:38Z

这个stop_gradient的问题是因为paddle的所有梯度的stop_gradient也为False，而torch的梯度的requires_grad为True，不过没有太大影响，只是这个属性不同，我先合入了。

后面可以看下两点：
1. unsupport_args的参数也可以加点case，在单测里设置unsupport=True就可以跑了

2. torch.histogram主要是输出Tensor个数没对上导致完全无法转，应该可以用paddle.linspace arange 等API模拟生成bins，组合实现出这个API，需要再试下方案，如果可以的话， torch.histogram/ torch.Tensor.histogram这两个的文档和Matcher都要同时修改

如果min, max都为0，调用paddle.linspace 还需要使用paddle.min, paddle.max计算数据最小最大值，使用api较多

co63oc · 2023-07-19T08:41:03Z

已增加 unsupport用例

zhwesky2010

LGTM

paddle-bot bot added contributor External developers status: proposed labels Jun 23, 2023

co63oc changed the title ~~转换规则 No. 114~~ 转换规则 No. 114-120 Jun 25, 2023

ROckDog22 reviewed Jun 26, 2023

View reviewed changes

luotao1 added the HappyOpenSource 快乐开源活动issue与PR label Jun 26, 2023

co63oc force-pushed the doc0622 branch 3 times, most recently from 2f9eae0 to 535290c Compare June 27, 2023 06:32

luotao1 assigned ROckDog22 and zhwesky2010 Jun 27, 2023

co63oc force-pushed the doc0622 branch 2 times, most recently from b7f41e8 to 01585fa Compare June 27, 2023 11:48

ROckDog22 reviewed Jun 28, 2023

View reviewed changes

paconvert/api_matcher.py Outdated Show resolved Hide resolved

luotao1 mentioned this pull request Jun 28, 2023

Pytorch-Paddle代码转换工具开源任务 #112

Closed

luotao1 self-assigned this Jun 29, 2023

co63oc force-pushed the doc0622 branch 4 times, most recently from efb4795 to 3aabfd9 Compare July 4, 2023 11:49

ROckDog22 previously approved these changes Jul 4, 2023

View reviewed changes

zhwesky2010 reviewed Jul 5, 2023

View reviewed changes

co63oc dismissed ROckDog22’s stale review via 8629c04 July 5, 2023 12:56

co63oc force-pushed the doc0622 branch from 3aabfd9 to 8629c04 Compare July 5, 2023 12:56

Add tests

1b1e356

co63oc force-pushed the doc0622 branch from d3dc385 to 1b1e356 Compare July 7, 2023 23:21

co63oc added 2 commits July 11, 2023 15:31

Merge branch 'master' into doc0622

504ab19

Merge branch 'master' into doc0622

ea7d5a2

zhwesky2010 reviewed Jul 18, 2023

View reviewed changes

Merge branch 'master' into doc0622

27ae679

co63oc closed this Jul 19, 2023

paddle-bot bot added status: not progressed and removed status: proposed labels Jul 19, 2023

co63oc reopened this Jul 19, 2023

Fix

13efdcc

zhwesky2010 approved these changes Jul 20, 2023

View reviewed changes

zhwesky2010 merged commit 73527d9 into PaddlePaddle:master Jul 20, 2023

co63oc deleted the doc0622 branch August 4, 2023 13:09

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

转换规则 No. 114-120 #122

转换规则 No. 114-120 #122

co63oc commented Jun 23, 2023 •

edited

Loading

paddle-bot bot commented Jun 23, 2023

ROckDog22 Jul 3, 2023

co63oc Jul 4, 2023

zhwesky2010 Jul 5, 2023 •

edited

Loading

co63oc Jul 5, 2023 •

edited

Loading

zhwesky2010 Jul 6, 2023

co63oc Jul 6, 2023

zhwesky2010 Jul 5, 2023 •

edited

Loading

co63oc Jul 5, 2023 •

edited

Loading

zhwesky2010 Jul 6, 2023

co63oc Jul 6, 2023 •

edited

Loading

zhwesky2010 Jul 7, 2023 •

edited

Loading

co63oc Jul 7, 2023

luotao1 commented Jul 5, 2023

co63oc commented Jul 5, 2023

zhwesky2010 commented Jul 11, 2023

zhwesky2010 commented Jul 11, 2023 •

edited

Loading

co63oc commented Jul 11, 2023

co63oc commented Jul 11, 2023

zhwesky2010 commented Jul 18, 2023 •

edited

Loading

zhwesky2010 left a comment

zhwesky2010 Jul 18, 2023

co63oc Jul 19, 2023 •

edited

Loading

zhwesky2010 Jul 18, 2023

co63oc Jul 19, 2023

zhwesky2010 Jul 18, 2023

co63oc Jul 19, 2023

co63oc commented Jul 19, 2023

zhwesky2010 commented Jul 19, 2023

zhwesky2010 commented Jul 19, 2023

co63oc commented Jul 19, 2023 •

edited

Loading

co63oc commented Jul 19, 2023

co63oc commented Jul 19, 2023

zhwesky2010 left a comment

转换规则 No. 114-120 #122

转换规则 No. 114-120 #122

Conversation

co63oc commented Jun 23, 2023 • edited Loading

PR Docs

PR APIs

paddle-bot bot commented Jun 23, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

zhwesky2010 Jul 5, 2023 • edited Loading

Choose a reason for hiding this comment

co63oc Jul 5, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

zhwesky2010 Jul 5, 2023 • edited Loading

Choose a reason for hiding this comment

co63oc Jul 5, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

co63oc Jul 6, 2023 • edited Loading

Choose a reason for hiding this comment

zhwesky2010 Jul 7, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

luotao1 commented Jul 5, 2023

co63oc commented Jul 5, 2023

zhwesky2010 commented Jul 11, 2023

zhwesky2010 commented Jul 11, 2023 • edited Loading

co63oc commented Jul 11, 2023

co63oc commented Jul 11, 2023

zhwesky2010 commented Jul 18, 2023 • edited Loading

zhwesky2010 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

co63oc Jul 19, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

co63oc commented Jul 19, 2023

zhwesky2010 commented Jul 19, 2023

zhwesky2010 commented Jul 19, 2023

co63oc commented Jul 19, 2023 • edited Loading

co63oc commented Jul 19, 2023

co63oc commented Jul 19, 2023

zhwesky2010 left a comment

Choose a reason for hiding this comment

co63oc commented Jun 23, 2023 •

edited

Loading

zhwesky2010 Jul 5, 2023 •

edited

Loading

co63oc Jul 5, 2023 •

edited

Loading

zhwesky2010 Jul 5, 2023 •

edited

Loading

co63oc Jul 5, 2023 •

edited

Loading

co63oc Jul 6, 2023 •

edited

Loading

zhwesky2010 Jul 7, 2023 •

edited

Loading

zhwesky2010 commented Jul 11, 2023 •

edited

Loading

zhwesky2010 commented Jul 18, 2023 •

edited

Loading

co63oc Jul 19, 2023 •

edited

Loading

co63oc commented Jul 19, 2023 •

edited

Loading