-
Notifications
You must be signed in to change notification settings - Fork 151
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
使用昇腾910显卡进行编译时出错 #1258
Comments
您好,根据错误提示 “ModuleNotFoundError: No module named 'paddle'”,编译之前需要先安装Paddle Paddle CPU的安装包。910卡可以参考 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/release/2.6/backends/npu/README_cn.md 这个文档进行编译。 |
这个报错的代码是在这里 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/cmake/paddle.cmake#L24 您可以在环境中手动跑一下这个命令看输出是否正常
如果地址返回不一致,需要您这里重新安装下,建议您这里尽量使用官网文档给的飞桨开发镜像进行编译安装,可以避免很多环境差异导致的问题,谢谢! |
另外您这里可以通过如下命令确认下,您使用的芯片是 910 还是 910B 吗? 目前CustomDevice对于这2个芯片支持的代码分支存在差异 可以参考 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/release/2.6/backends/npu/README_cn.md 这个文档 |
我使用的是昇腾的服务器,创建的conda的虚拟环境,npu是910B,也是按照您给的教程重新走了一遍910B的版本。 这个是npu的相关信息: conda环境中的paddlepaddle版本变成了3.0.0.dev20240522
重新运行bash tools/compile.sh,依然会提示ModuleNotFoundError: No module named 'paddle' |
哦,可能是您的环境中装有多个版本的python,在cmake的时候用的python和您这里的conda环境里面的python不一致导致找不到paddle。 你可以尝试修改下 tools/compile.sh 文件,在 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/npu/tools/compile.sh#L60 这里添加 你可以观察下,cmake命令前面输出部分会显示当前cmake的使用的是哪个python,保障cmake命令输出的python exe地址和您的conda的python地址一致,如下图红框所示,飞桨官网默认给的开发镜像里面只有一个python版本所以不会有这个问题。 |
我这边也修改了这个编译文件,您看下是不是有问题
修改完成后运行还是会出现这个问题
我也检查了我的python
我这边还需要提供什么信息? 另外,paddle官方的最新的docker镜像(Ubuntu)与我服务器的系统(centos)不兼容 |
运行这些命令时,conda除了基本的base环境,没有其他的环境,新的paddle环境也是新建的,python版本改为3.8 |
可以参考这个 https://stackoverflow.com/questions/7660001/cmake-finds-wrong-python-libs 这个回答,尝试把这几个参数都加上
|
您好,请问这个问题是否已经解决,谢谢! |
还是没有解决,我联系昇腾那边的工程师,他们给了我一个新的docker容器。我现在在容器里面进行作业。 |
您也可以尝试使用飞桨官网的容器镜像 registry.baidubce.com/device/paddle-npu:cann80RC1-ubuntu20-x86_64-gcc84-py310,如果有更多问题欢迎提问。 |
@qili93 老师您好,我最近在使用寒武纪370-x8板卡安装和编译paddle时也出现了类似的问题。具体现象和问题如下:1.在cmake时打印的信息查看使用的python是启动镜像后的python版本。2.在执行bash tools/compile.sh时,在paddle.cmake文件72行报错,具体信息如下图所示。麻烦您帮忙看下,谢谢老师! |
您好,您截图中的报错是由于下载 Paddle 主仓失败导致的,PaddleCustomDevice的编译需要依赖Paddle仓库源码。 您可以手动跑一下日志中提示的这个命令,下载成功之后,再运行 tools/compile.sh 就可以了。 git submodule update --init Paddle |
好的,感谢老师的答复,我今天排查了问题原因应该就是我拉取PaddleCustomDevice是手动下载的zip包,因此报错缺少paddle的子模块,我使用git clone再试试。
***@***.***
…---- 回复的原邮件 ----
发件人
Qi ***@***.***>
发送日期
2024年6月13日 11:15
收件人
***@***.***>
抄送人
***@***.***>
,
***@***.***>
主题
Re: [PaddlePaddle/PaddleCustomDevice] 使用昇腾910显卡进行编译时出错 (Issue #1258)
【本邮件来自外部。在打开附件或访问其中的链接前,请谨慎核对发件人地址等信息!】
@qili93 老师您好,我最近在使用寒武纪370-x8板卡安装和编译paddle时也出现了类似的问题。具体现象和问题如下:1.在cmake时打印的信息查看使用的python是启动镜像后的python版本。2.在执行bash
tools/compile.sh时,在paddle.cmake文件72行报错,具体信息如下图所示。麻烦您帮忙看下,谢谢老师!
您好,您截图中的报错是由于下载 Paddle 主仓失败导致的,PaddleCustomDevice的编译需要依赖Paddle仓库源码。
您可以手动跑一下日志中提示的这个命令,下载成功之后,再运行 tools/compile.sh 就可以了。
git submodule update --init Paddle
image.png (view on web)
—
Reply to this email directly,
view it on GitHub, or
unsubscribe.
You are receiving this because you commented.Message
ID: ***@***.***>
|
老师您好,我今天在使用镜像 <registry.baidubce.com/device/paddle-mlu:cntoolkit3.7.2-1-cnnl1.22.0-1-gcc82>(python版本为3.9)进行编译时,进行bash tools/compile.sh时,出现以下问题:
请老师帮忙看看具体是什么原因呢,是因为镜像中软件版本的原因吗?
***@***.***
…---- 回复的原邮件 ----
发件人
Qi ***@***.***>
发送日期
2024年6月13日 11:15
收件人
***@***.***>
抄送人
***@***.***>
,
***@***.***>
主题
Re: [PaddlePaddle/PaddleCustomDevice] 使用昇腾910显卡进行编译时出错 (Issue #1258)
【本邮件来自外部。在打开附件或访问其中的链接前,请谨慎核对发件人地址等信息!】
@qili93 老师您好,我最近在使用寒武纪370-x8板卡安装和编译paddle时也出现了类似的问题。具体现象和问题如下:1.在cmake时打印的信息查看使用的python是启动镜像后的python版本。2.在执行bash
tools/compile.sh时,在paddle.cmake文件72行报错,具体信息如下图所示。麻烦您帮忙看下,谢谢老师!
您好,您截图中的报错是由于下载 Paddle 主仓失败导致的,PaddleCustomDevice的编译需要依赖Paddle仓库源码。
您可以手动跑一下日志中提示的这个命令,下载成功之后,再运行 tools/compile.sh 就可以了。
git submodule update --init Paddle
image.png (view on web)
—
Reply to this email directly,
view it on GitHub, or
unsubscribe.
You are receiving this because you commented.Message
ID: ***@***.***>
|
您好,我无法在issue网页上看到具体报错问题,请帮忙把您出错的截图贴到issue网页上,谢谢! |
@wujf147 看上去应该是镜像里面的SDK过老的关系,您需要参考 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/mlu/README_cn.md 最新的readme中的镜像进行编译。 docker pull registry.baidubce.com/device/paddle-mlu:ctr2.15.0-ubuntu20-gcc84-py310 如果您需要使用您自己的镜像,可以运行如下命令检查下您环境中的几个安装包的版本和README的这个表格中的版本是否一致。 dpkg -l | grep cntoolkit 正常输入结果如下 和readme中的版信息需要保持一致 |
好的,感谢老师,我使用镜像paddle-mlu:ctr2.15.0-ubuntu20-gcc84-py310是可以正常运行paddle的,不过接下来如果要进行配置ppocr环境时,需要安装paddleocr包,在安装依赖库numpy时,会提示numpy与python3.10版本不兼容,这个问题的解决方法一般是找到适配的numpy版本吗?另外一个问题就是要在寒武纪板卡上使用paddleocr,有具体的环境部署流程吗?感谢老师
***@***.***
…---- 回复的原邮件 ----
发件人
Qi ***@***.***>
发送日期
2024年6月18日 19:41
收件人
***@***.***>
抄送人
***@***.***>
,
***@***.***>
主题
Re: [PaddlePaddle/PaddleCustomDevice] 使用昇腾910显卡进行编译时出错 (Issue #1258)
【本邮件来自外部。在打开附件或访问其中的链接前,请谨慎核对发件人地址等信息!】
@wujf147 看上去应该是镜像里面的SDK过老的关系,您需要参考
https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/mlu/README_cn.md 最新的readme中的镜像进行编译。
docker pull registry.baidubce.com/device/paddle-mlu:ctr2.15.0-ubuntu20-gcc84-py310
如果您需要使用您自己的镜像,可以运行如下命令检查下您环境中的几个安装包的版本和README的这个表格中的版本是否一致。
dpkg -l | grep cntoolkit
dpkg -l | grep cnnl
dpkg -l | grep cncl
dpkg -l | grep mluops
正常输入结果如下
image.png (view on web)
和readme中的版信息需要保持一致
image.png (view on web)
—
Reply to this email directly,
view it on GitHub, or
unsubscribe.
You are receiving this because you were mentioned.Message
ID: ***@***.***>
|
@wujf147 是的,建议找一个能和python3.10兼容的numpy版本进行安装,PaddleOCR的部署流程请参考OCR的GPU文档。其中需要注意参考 https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/mlu/tests/test_LeNet_MNIST.py#L77 这个代码将 enable_use_gpu 修改为 enable_custom_device 就可以正常推理部署了。 |
好的,非常感谢老师的解答,我接下来尝试一下
***@***.***
…---- 回复的原邮件 ----
发件人
Qi ***@***.***>
发送日期
2024年6月19日 10:08
收件人
***@***.***>
抄送人
***@***.***>
,
***@***.***>
主题
Re: [PaddlePaddle/PaddleCustomDevice] 使用昇腾910显卡进行编译时出错 (Issue #1258)
【本邮件来自外部。在打开附件或访问其中的链接前,请谨慎核对发件人地址等信息!】
@wujf147 是的,建议找一个能和python3.10兼容的numpy版本进行安装,PaddleOCR的部署流程请参考OCR的GPU文档。其中需要注意参考
https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/mlu/tests/test_LeNet_MNIST.py#L77 这个代码将 enable_use_gpu 修改为 enable_custom_device 就可以正常推理部署了。
—
Reply to this email directly,
view it on GitHub, or
unsubscribe.
You are receiving this because you were mentioned.Message
ID: ***@***.***>
|
@qili93 老师您好,我今天在镜像容器中成功安装了paddleocr模块,但是在进行测试时显示没有使用显卡,具体如下,请问怎么正确使用寒武纪显卡进行推理呢,好像paddleocr没有设置使用寒武纪显卡的参数? |
您好,就是上一条回答中的这个配置,参考 相应的修改推理程序里面的对应代码,就可以跑到MLU的设备上。 |
@qili93 ,老师您好,按照这样修改,是不是不能像指定gpu参数这样,使用命令行--use_gpu设置使用寒武纪显卡?而是只能在代码中进行修改? |
@qili93 老师您好,另外有一个问题想请教下,您知道怎么指定寒武纪显卡运行docker吗,如下图所示使用gpus报错 |
你好,docker启动命令参考我们的文档:https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/mlu/README_cn.md docker run -it --name paddle-mlu-dev -v $(pwd):/work |
x
新的问题辛苦再新建一个issue哈,也方便其他用户查阅,编译没问题了的话,这个issue就先关闭了哈~ |
Close as new issue opened in #1314 |
(paddle) [jiboyang@bms-3c50 npu]$ bash tools/compile.sh
+++ dirname tools/compile.sh
++ cd tools/../
++ pwd
++ uname -i
========================================
Configuring cmake in build ...
-DCMAKE_BUILD_TYPE=Release
-DWITH_TESTING=ON
-DWITH_MKL=OFF
-DWITH_ARM=ON
-DWITH_ATB=OFF
-DON_INFER=OFF
-DWITH_COVERAGE=OFF
========================================
Traceback (most recent call last):
File "", line 1, in
ModuleNotFoundError: No module named 'paddle'
CMake Error at cmake/paddle.cmake:31 (message):
NO Installed Paddle Found in
Call Stack (most recent call first):
CMakeLists.txt:22 (include)
-- Configuring incomplete, errors occurred!
CMake Error Found !!!
The text was updated successfully, but these errors were encountered: