【Paddle Toolkit Development Competition No.4】 Paddle 适配 torch-scatter #1028

NKNaN · 2024-11-24T05:05:06Z

PR types

New features

PR changes

APIs

Describe

scatter_min/scatter_max/segment类/gather类 API 由自定义算子实现，其他由组合API实现。

paddle-bot · 2024-11-24T05:05:11Z

Thanks for your contribution!

NKNaN · 2024-11-24T05:14:07Z

Paddle repo的clang-format要求版本是13.0.0，PaddleScience 是 3.8，能否改成 13.0.0

HydrogenSulfate · 2024-11-24T15:30:38Z

Paddle repo的clang-format要求版本是13.0.0，PaddleScience 是 3.8，能否改成 13.0.0

辛苦提交PR，我明天修改一下

HydrogenSulfate · 2024-11-26T02:45:02Z

对于组合实现的 API，有一些基础 API 尚未支持 fp16 和 bf16，如 repeat_interleave，所以 fp16 和 bf16 的测试暂时关闭。是否需要对那些 API 支持 fp16 和 bf16？

这个是否可以提交一个PR到paddle呢？应该只要把这几个类型添加到算子的注册宏里面就行了吧？而且比如repeat_interleave这种不涉及具体数值计算的，应该更简单？其它涉及数值计算的，可能还需要注意一下kernel里计算时，float16/bfloat16特化的模板里要转成float32，算完转回原类型即可。

HydrogenSulfate · 2024-11-26T02:47:50Z

jointContribution/paddle_scatter/composite/logsumexp.py

+        )
+
+    index = broadcast(index, src, dim)
+    eps = paddle.to_tensor(eps, dtype=src.dtype)


定义常量Tensor，建议使用full代替to_tensor

Suggested change

eps = paddle.to_tensor(eps, dtype=src.dtype)

eps = paddle.full([], eps, dtype=src.dtype)

HydrogenSulfate · 2024-11-26T02:52:23Z

jointContribution/paddle_scatter/composite/logsumexp.py

+
+    mask = ~res.isfinite()
+    res[mask] = orig_out[mask]
+    paddle.assign(res, out)


有个问题，这里如果out为None的话，是不是不正确？ paddle.assign(res, out)之后，out应该仍然是None

out为None的话 orig_out 也为None，会走上面那个分支return

HydrogenSulfate · 2024-11-26T02:54:15Z

jointContribution/paddle_scatter/composite/std.py

+    if out is not None:
+        paddle.assign(res, out)
+        return out
+    else:
+        return res


这里这样写是对的，如果out是None，则返回res

HydrogenSulfate · 2024-11-26T02:56:12Z

jointContribution/paddle_scatter/csrc/index_info.cuh

+
+#include "paddle/extension.h"
+
+#define MAX_TENSORINFO_DIMS 25


这个25应该是torch的维数限制，paddle设置为7维吧

HydrogenSulfate · 2024-11-26T02:56:21Z

jointContribution/paddle_scatter/csrc/index_info.h

+
+#include "paddle/extension.h"
+
+#define MAX_TENSORINFO_DIMS 25


HydrogenSulfate · 2024-11-26T03:13:52Z

jointContribution/paddle_scatter/csrc/utils.cuh

+#else
+#define SHFL_UP_SYNC __shfl_up_sync
+#define SHFL_DOWN_SYNC __shfl_down_sync
+#endif


文件末尾换行

HydrogenSulfate · 2024-11-26T03:15:43Z

jointContribution/paddle_scatter/scatter.py

+from paddle import assign
+from paddle import divide
+from paddle import floor_divide
+from paddle import full
+from paddle import full_like
+from paddle import ones
+from paddle import put_along_axis
+from paddle import where
+from paddle import zeros


这些函数通过paddle模块访问吧，直接从模块import方法不太好

HydrogenSulfate · 2024-11-26T03:18:57Z

jointContribution/paddle_scatter/segment_coo.py

segment_coo系列的算子是否可以用自定义算子实现？否则for循环效率会不会比较低？

也可以，我再改一下

HydrogenSulfate · 2024-11-26T03:19:31Z

jointContribution/paddle_scatter/segment_csr.py

问题同coo系列API，是否能用自定义算子实现？

也可以，我再改一下

HydrogenSulfate · 2024-11-26T03:20:21Z

jointContribution/paddle_scatter/setup.py

+    version="1.0",
+    author="NKNaN",
+    url="https://github.com/PaddlePaddle/PaddleScience/jointContribution/paddle_scatter",
+    description="Paddle extension of scatter and segment operators with min and max reduction methods",


description可以补充一下原作者的仓库吧。

HydrogenSulfate · 2024-11-26T03:23:54Z

另外这个PR能单独建立一个私人仓库吗（结构与原项目保持一致即可）？然后权限加我一下，这样我能review，后续移动至PFCCLab仓库在，我会通过submodule的形式把这个添加到PaddleScience的可选安装依赖里

luotao1 · 2024-11-26T03:38:34Z

后续移动至PFCCLab仓库在

也可以现在就移动至PFCCLab仓库下的私人repo

HydrogenSulfate

from xx import yy 建议全部改为 import xx，然后使用 xx.yy的方式调用，否则非常容易出现循环引用的问题。

HydrogenSulfate · 2024-11-27T12:23:26Z

jointContribution/paddle_scatter/tests/test_multi_gpu.py

+]
+
+
+@pytest.mark.skipif(not paddle.cuda.is_available(), reason="CUDA not available")


Suggested change

@pytest.mark.skipif(not paddle.cuda.is_available(), reason="CUDA not available")

@pytest.mark.skipif(paddle.cuda.device_count() == 0, reason="CUDA not available")

HydrogenSulfate · 2024-11-27T12:25:20Z

jointContribution/paddle_scatter/tests/test_multi_gpu.py

+
+
+@pytest.mark.skipif(not paddle.cuda.is_available(), reason="CUDA not available")
+@pytest.mark.skipif(paddle.cuda.device_count() < 2, reason="No multiple GPUS")


Suggested change

@pytest.mark.skipif(paddle.cuda.device_count() < 2, reason="No multiple GPUS")

@pytest.mark.skipif(paddle.device.cuda.device_count() < 2, reason="No multiple GPUS")

NKNaN · 2024-12-02T03:42:21Z

另外这个PR能单独建立一个私人仓库吗（结构与原项目保持一致即可）？然后权限加我一下，这样我能review，后续移动至PFCCLab仓库在，我会通过submodule的形式把这个添加到PaddleScience的可选安装依赖里

建好了

HydrogenSulfate · 2024-12-02T03:58:18Z

另外这个PR能单独建立一个私人仓库吗（结构与原项目保持一致即可）？然后权限加我一下，这样我能review，后续移动至PFCCLab仓库在，我会通过submodule的形式把这个添加到PaddleScience的可选安装依赖里

建好了

好的，收到

co63oc · 2024-12-18T00:15:53Z

可以编译安装，但是运行单测失败，不知道是要怎么使用

pip install -e .
pytest tests

NKNaN · 2024-12-18T02:14:36Z

可以编译安装，但是运行单测失败，不知道是要怎么使用

目前 setup.py 只是将c++自定义算子的部分打了包，包名是paddle_scatter_ops，对整个paddle_scatter还没有打包，应该是这个原因。怎么样对整体打包呢？

HydrogenSulfate · 2024-12-18T02:16:18Z

可以编译安装，但是运行单测失败，不知道是要怎么使用

目前 setup.py 只是将c++自定义算子的部分打了包，包名是paddle_scatter_ops，对整个paddle_scatter还没有打包，应该是这个原因。怎么样对整体打包呢？

整体的话应该使用setup.py/pyproject.toml两种方式？这样能支持pip install .或者pip install -e .，将整个项目作为package安装到sitepackages下

NKNaN · 2024-12-18T03:50:15Z

可以编译安装，但是运行单测失败，不知道是要怎么使用

目前 setup.py 只是将c++自定义算子的部分打了包，包名是paddle_scatter_ops，对整个paddle_scatter还没有打包，应该是这个原因。怎么样对整体打包呢？

整体的话应该使用setup.py/pyproject.toml两种方式？这样能支持pip install .或者pip install -e .，将整个项目作为package安装到sitepackages下

那通过setup.py整体打包之后，把整体包名设置为paddle_scatter的话 (也就是通过paddle.utils.cpp_extension.setup把name设置成paddle_scatter)，custom_op应该如何调用呢，paddle_scatter.custom_xx好像不行

HydrogenSulfate · 2024-12-19T04:52:44Z

可以编译安装，但是运行单测失败，不知道是要怎么使用

目前 setup.py 只是将c++自定义算子的部分打了包，包名是paddle_scatter_ops，对整个paddle_scatter还没有打包，应该是这个原因。怎么样对整体打包呢？

整体的话应该使用setup.py/pyproject.toml两种方式？这样能支持pip install .或者pip install -e .，将整个项目作为package安装到sitepackages下

那通过setup.py整体打包之后，把整体包名设置为paddle_scatter的话 (也就是通过paddle.utils.cpp_extension.setup把name设置成paddle_scatter)，custom_op应该如何调用呢，paddle_scatter.custom_xx好像不行

假设自定义算子的包名为paddle_scater_core，它和paddle-scatter（假设包名为paddle_scatter）是两套代码，应该通过paddle-scatter内的python API去调用paddle_scater_core.*，然后对外公开的API应该是paddle_scatter.*下的封装好的python API

NKNaN · 2024-12-20T03:27:09Z

更新了一下，应该这样就可以了

Build

cd paddle_scatter
python setup_ops.py install   # 打包c++算子
pip install .              # 整体打包

Test

cd paddle_scatter
pytest tests

co63oc · 2024-12-20T04:23:11Z

pip install .

代码已更新最新代码，还是有错误

python setup_ops.py install
pip install .
pytest tests

NKNaN · 2024-12-20T05:47:54Z

已更新

co63oc · 2024-12-20T06:38:54Z

已更新

可以了感谢，只有一个单测 tests/test_softmax.py::test_log_softmax，需要设置rtol=1e-3，不知道是不是问题

co63oc · 2024-12-20T07:07:53Z

https://github.com/rusty1s/pytorch_scatter/

示例修改为paddle，运行失败

import paddle
from paddle_scatter import scatter_max

src = paddle.to_tensor([[2, 0, 1, 4, 3], [0, 2, 1, 3, 4]])
index = paddle.to_tensor([[4, 5, 4, 2, 3], [0, 0, 2, 2, 1]])

out, argmax = scatter_max(src, index, dim=-1)

print(out)
print(argmax)

NKNaN · 2024-12-20T08:08:27Z

已更新

可以了感谢，只有一个单测 tests/test_softmax.py::test_log_softmax，需要设置rtol=1e-3，不知道是不是问题

应该是得设置一下rtol。

重新改了一下文件夹的结构，麻烦再试一下。

co63oc · 2024-12-20T08:40:53Z

已更新

可以了感谢，只有一个单测 tests/test_softmax.py::test_log_softmax，需要设置rtol=1e-3，不知道是不是问题

应该是得设置一下rtol。

重新改了一下文件夹的结构，麻烦再试一下。

pytest都可以跑通了

co63oc · 2024-12-22T10:50:47Z

https://github.com/rusty1s/pytorch_scatter/

示例修改为paddle，运行失败

import paddle
from paddle_scatter import scatter_max

src = paddle.to_tensor([[2, 0, 1, 4, 3], [0, 2, 1, 3, 4]])
index = paddle.to_tensor([[4, 5, 4, 2, 3], [0, 0, 2, 2, 1]])

out, argmax = scatter_max(src, index, dim=-1)

print(out)
print(argmax)

@NKNaN

NKNaN · 2024-12-22T11:10:17Z

https://github.com/rusty1s/pytorch_scatter/ 示例修改为paddle，运行失败

import paddle
from paddle_scatter import scatter_max

src = paddle.to_tensor([[2, 0, 1, 4, 3], [0, 2, 1, 3, 4]])
index = paddle.to_tensor([[4, 5, 4, 2, 3], [0, 0, 2, 2, 1]])

out, argmax = scatter_max(src, index, dim=-1)

print(out)
print(argmax)

@NKNaN

我在aistudio上打完包之后，试了一下在这三个地方都是可以运行的

co63oc · 2024-12-22T11:32:07Z

可以了没问题了感谢 @NKNaN

NKNaN · 2024-12-22T11:37:55Z

可以了没问题了感谢 @NKNaN

好的，麻烦你了~

paddle-bot bot added the contributor label Nov 24, 2024

luotao1 mentioned this pull request Nov 25, 2024

【飞桨科学计算工具组件开发大赛】25w奖金池💰 #1000

Open

luotao1 added the HappyOpenSource Pro 进阶版快乐开源活动，更具挑战性的任务 label Nov 25, 2024

luotao1 assigned luotao1 and HydrogenSulfate Nov 25, 2024

HydrogenSulfate reviewed Nov 26, 2024

View reviewed changes

HydrogenSulfate reviewed Nov 27, 2024

View reviewed changes

NKNaN added 2 commits December 2, 2024 11:15

add paddle-scatter

8c5351c

update

3993fb4

NKNaN force-pushed the pscatter branch from 77fcc41 to 3993fb4 Compare December 2, 2024 03:22

update

b4705d5

fix typo

56ae5f1

update

b8f5b26

update structure

ebcfe21

	eps = paddle.to_tensor(eps, dtype=src.dtype)
	eps = paddle.full([], eps, dtype=src.dtype)

		]


		@pytest.mark.skipif(not paddle.cuda.is_available(), reason="CUDA not available")

	@pytest.mark.skipif(not paddle.cuda.is_available(), reason="CUDA not available")
	@pytest.mark.skipif(paddle.cuda.device_count() == 0, reason="CUDA not available")

	@pytest.mark.skipif(paddle.cuda.device_count() < 2, reason="No multiple GPUS")
	@pytest.mark.skipif(paddle.device.cuda.device_count() < 2, reason="No multiple GPUS")


		#include "paddle/extension.h"

		#define MAX_TENSORINFO_DIMS 25


		#include "paddle/extension.h"

		#define MAX_TENSORINFO_DIMS 25

【Paddle Toolkit Development Competition No.4】 Paddle 适配 torch-scatter #1028

Are you sure you want to change the base?

【Paddle Toolkit Development Competition No.4】 Paddle 适配 torch-scatter #1028

Conversation

NKNaN commented Nov 24, 2024 • edited Loading

PR types

PR changes

Describe

paddle-bot bot commented Nov 24, 2024

NKNaN commented Nov 24, 2024

HydrogenSulfate commented Nov 24, 2024

HydrogenSulfate commented Nov 26, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

HydrogenSulfate commented Nov 26, 2024 • edited Loading

luotao1 commented Nov 26, 2024

HydrogenSulfate left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

NKNaN commented Dec 2, 2024

HydrogenSulfate commented Dec 2, 2024

co63oc commented Dec 18, 2024 • edited Loading

NKNaN commented Dec 18, 2024

HydrogenSulfate commented Dec 18, 2024 • edited Loading

NKNaN commented Dec 18, 2024

HydrogenSulfate commented Dec 19, 2024

NKNaN commented Dec 20, 2024 • edited Loading

co63oc commented Dec 20, 2024

NKNaN commented Dec 20, 2024

co63oc commented Dec 20, 2024

co63oc commented Dec 20, 2024

NKNaN commented Dec 20, 2024

co63oc commented Dec 20, 2024

co63oc commented Dec 22, 2024

NKNaN commented Dec 22, 2024

co63oc commented Dec 22, 2024

NKNaN commented Dec 22, 2024

NKNaN commented Nov 24, 2024 •

edited

Loading

HydrogenSulfate commented Nov 26, 2024 •

edited

Loading

HydrogenSulfate commented Nov 26, 2024 •

edited

Loading

co63oc commented Dec 18, 2024 •

edited

Loading

HydrogenSulfate commented Dec 18, 2024 •

edited

Loading

NKNaN commented Dec 20, 2024 •

edited

Loading