1.[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
2.NVIDIA Jetson NX安装torchvision教程
3.APEX with Anaconda 安装教程
4.手把手教你在升腾平台上搭建PyTorch训练环境
5.树莓派安装pytorch,码安史上最全方法合集(附安装链接)
6.DGL-KE 安装及使用
[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
在启动安装Pytorch3D之前,码安首要任务是码安选择合适的pytorch基础镜像。我选择了包含CUDA组件和驱动的码安pytorch 1.9的devel版本,以确保满足Pytorch3D对于pytorch和cuda版本的码安要求。我使用的码安自平衡小车源码是python 3.7、pytorch 1.9和cuda.2,码安前提是码安你已经在宿主机上配置好了显卡驱动和nvidia-docker,以便在容器内映射宿主机的码安显卡信息。 在安装前,码安确保nvcc编译器、码安CUDA工具箱和驱动正常运行,码安并且安装了git、码安vim、码安sudo和curl等基础工具。码安 下一步是配置CUB工具。按照Pytorch3D的安装文档,为了支持CUDA,需要先配置CUB,并设置CUB_HOME环境变量。由于选择的镜像包含CUDA,编译过程中会自动包含cuda。为保险起见,可以指定FORCE_CUDA环境变量为1。 从源码编译Pytorch3D时,避免了使用conda可能遇到的依赖冲突问题。在确认前两步没有问题后,编译过程通常顺利。安装完成后,检查日志和pytorch3d的版本信息。 为了验证Pytorch3D的正常运行,从ARkit中导出BS系数,尝试使用它渲染一个简单的白模,并利用GPU。观察到显卡被充分利用,表明设置正确,可以进行后续操作。 在完成安装并验证Pytorch3D的挂机放置类 源码功能后,可以参考收集的资料来探索其更高级的用法。以下是几个示例:从Pytorch3D文档中获取的教程和代码示例。
开源社区的讨论和问题解答,特别是与Pytorch3D相关的话题。
个人经验分享和案例研究,可以在GitHub、Stack Overflow等平台找到。
通过这些资源,您可以深入学习Pytorch3D的功能和应用,进一步拓展其在计算机图形学、三维重建和深度学习等领域的应用。NVIDIA Jetson NX安装torchvision教程
安装 torchvision 前,先确保已安装 pytorch,参考相关教程进行操作。
首先,切换至国内软件源,执行更新操作。
安装 torchvision 所需依赖。
使用 dpkg 手动安装时,注意到 libpython3-dev 未有候选版本,需手动安装。安装其他依赖已满足。
下载 arm 架构的 libpython3-dev_3.6.7-1~._arm.deb 包,确保版本与当前 python3(3.6.9)兼容。
使用 dpkg -i 安装 deb 包,若遇到依赖问题,直接在网页中查找所有依赖的下载链接。
安装 libpython3-dev 的依赖 libpython3.6-dev 时,出现版本不正确的错误。分析后发现 libpython3.6-dev 需要的版本为 3.6.9-1~.ubuntu1.4,已有的版本为 3.6.9-1~.,因此安装 libpython3.6-dev 的候选版本 libpython3.6-stdlib 中最后一个版本,即为所需版本 3.6.9-1~.ubuntu1.4。
安装 torchvision 源码,确保 pytorch 和 torchvision 版本匹配,如 torch 1.6 版本对应 torchvision 0.7.0 版本。
使用码云账号注册并导入 torchvision 仓库,N形态公式源码完成代码下载。
进入 torchvision 目录,使用命令编译,通常需时约十分钟。
当出现 pillow 报错时,说明 torchvision 近于安装成功。返回上一级目录,使用 pip/pip3 安装 pillow。
若下载速度慢,可使用国内豆瓣源下载安装 pillow。
安装 pillow 后,再次尝试导入 torch 仍报错,需再次进入 torchvision 目录进行编译安装。这次配置完成迅速。
使用 pip3 list 查看已安装包及版本,确认 torchvision 安装完成。
执行卷积神经网络训练,速度比本地快四倍。使用 jtop 监控 CPU、GPU 运行情况,观察在 Jetson Nano 上使用 pytorch 并设置 CUDA 进行训练时,主要由 GPU 执行计算,W 功率能达到的算力相当不错。
APEX with Anaconda 安装教程
在使用Anaconda安装Pytorch时,遇到的一个问题是,通过conda安装的cudatoolkit版本并不完整,缺失了nvcc等关键处理程序。为了解决这一问题,conda-forge提供了cudatoolkit-dev解决方案,它包含多个CUDA版本,并配有一系列必要的二进制程序,如nvcc和cuda-gdb,有助于成功安装APEX包。 以下是详细的安装步骤:首先,使用conda search cudatoolkit-dev -c conda-forge命令查找在conda-forge库中可安装的cudatoolkit-dev版本。
从NVIDIA官网下载与找到的版本匹配的cudatoolkit安装文件,并将其保存到指定目录。抽奖不重复源码
设置环境变量:export DEBUG_INSTALLER_PATH=下载文件的完整路径。
接着,通过conda install cudatoolkit-dev==对应版本号 -c conda-forge命令进行安装,确保安装的完整。
安装完成后,用nvcc -V验证nvcc是否已成功安装。
最后,切换到APEX的源代码目录:cd apex_source_directory。
在该目录下,使用pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./命令,带上必要的全局选项,安装完整的APEX包。
手把手教你在升腾平台上搭建PyTorch训练环境
在升腾平台上运行PyTorch业务时,需搭建异构计算架构CANN软件开发环境,并安装PyTorch框架,以实现训练脚本的迁移、开发和调试。
本文由华为云社区《手把手教你在升腾平台上搭建PyTorch训练环境》作者升腾CANN分享。
PyTorch是流行的深度学习框架,适用于开发深度学习训练脚本,默认运行在CPU/GPU上。在升腾AI处理器上运行PyTorch业务时,需搭建异构计算架构CANN(Compute Architecture for Neural Networks)软件开发环境,并安装PyTorch框架,实现训练脚本的迁移、开发和调试。
以下将介绍如何在升腾平台上快速安装驱动固件、CANN软件及PyTorch框架。
环境检查:在升腾平台上安装驱动和固件前,需检查安装环境的NPU是否正常在位,并确认操作系统版本与内核版本是否满足配套要求。
以Atlas 训练服务器(型号:)(升腾AI处理器型号Ascend )为例,检查NPU是否正常在位可执行lspci | grep d命令,服务器上有N路NPU,回显N行含“d”字段,则表示NPU正常在位。
安装驱动和固件:1.创建驱动运行用户HwHiAiUser。类似传奇来了源码2.安装驱动和固件。在升腾社区的“固件与驱动”下载页面下载配套产品的固件驱动软件,并上传到服务器任意目录,然后参考如下命令进行固件驱动软件包的安装,需要注意,需要以root用户进行安装。
a.为软件包增加可执行权限。b.安装驱动。默认安装路径为“/usr/local/Ascend”,出现类似如下回显信息,说明安装成功。您还可以通过执行npu-smi info命令查看,出现类似如下信息,说明驱动加载成功。c.安装固件。出现类型如下回显信息,说明安装成功。3.驱动固件安装完成后,重启系统。
安装CANN软件依赖:CANN软件安装过程需要下载相关依赖,请确保安装环境能够连接网络,并已配置软件源,以下步骤以root用户操作为例。
1. 安装第三方依赖。Ubuntu系统(Debian、UOS、Linux等系统操作一致)。openEuler系统(EulerOS、CentOS、BCLinux等系统操作一致)。2. 安装Python及其依赖。以安装Python 3.7.5为例。1)通过wget命令下载python3.7.5源码包。2)解压缩源码包。3)源码编译安装Python。以--prefix=/usr/local/python3.7.5路径为例进行说明。执行配置、编译和安装命令后,安装包在/usr/local/python3.7.5路径。4)设置python3.7.5环境变量。5)检查是否安装成功。返回相关版本信息,则说明安装成功。6)安装pip依赖。
安装CANN开发套件包:1. 从升腾社区“CANN”产品页,根据操作系统架构下载CANN开发套件包。例如“Ascend-cann-toolkit_6.3.RC1_linux-x_.run”,并将其上传到安装环境任意目录。2. 安装CANN开发套件包。安装完成后,若显示如下信息,则说明软件安装成功:xxx表示安装的实际软件包名。
安装PyTorch:CANN软件包安装完成后,就可以进行PyTorch的安装了。开发者可以选择PyTorch 1.8.1或PyTorch 1..0版本,PyTorch安装成功后再安装APEX混合精度模块。在安装Pytorch前,需要先安装以下依赖。
安装PyTorch 1.8.1:1)安装官方torch包。x_架构;aarch架构。2)安装升腾提供的PyTorch适配插件torch_npu。x_架构;aarch架构。此处以5.0.rc1版本为例,实际请选择CANN配套的PyTorch插件版本进行安装。3)安装对应框架版本的torchvision。4)验证是否安装成功。如果输出包含如下关键信息则说明PyTorch安装成功。
安装PyTorch 1..0:1)安装官方torch包。x_架构;aarch架构。2)安装升腾提供的PyTorch适配插件torch_npu。x_架构;aarch架构。3)安装对应框架版本的torchvision。4)验证PyTorch是否安装成功。如果输出包含如下关键信息则说明PyTorch安装成功。
安装APEX混合精度模块:APEX混合精度模块是一个集优化性能、精度收敛于一身的综合优化库,可以提供不同场景下的混合精度训练支持。1. 获取升腾适配的APEX源码以及原生APEX代码。2. 切换到原生APEX代码对应分支。3. 在升腾适配APEX源码目录的scripts路径下生成升腾适配全量代码。4. 编译生成升腾适配的APEX二进制安装包。5. 安装APEX。_架构;aarch架构。到此,PyTorch训练环境就搭建完毕了,开发者可以将PyTorch网络脚本迁移到升腾平台执行训练,使用升腾平台的强大算力。
关于更多文档介绍,可以在升腾文档中心[1]查看,您也可在“升腾社区在线课程[2]”板块学习视频课程,学习过程中的任何疑问,都可以在“升腾论坛[3]”互动交流!
[1] 升腾文档中心
[2] 升腾社区在线课程
[3] 升腾论坛
点击关注,第一时间了解华为云新鲜技术~
树莓派安装pytorch,史上最全方法合集(附安装链接)
在树莓派上安装PyTorch是一项挑战,特别是对于arm架构的设备。以下是详细的安装步骤合集,旨在帮助你顺利搭建。1. 位系统下的PyTorch安装
虽然官方提供的树莓派系统为位,但部分库可能不支持。如果你的项目库在位下可用,可参考此部分。同时,这里会涉及到基础配置,如SSH、VNC和Python3.7的安装。2. 代理设置
仅对git操作提供代理设置,如果你有其他方式,可跳过此步骤。3. 位系统源码编译
由于官方资源无法满足需求,可能需要自编译。尽管遇到困难,但这是推荐的方法,因为自己编译更放心。注意编译过程中的问题和解决办法。4. 位系统安装
转向位系统是解决一些兼容问题的明智选择。位系统安装更为直接,但需注意官方隐藏的位系统链接。位PyTorch安装
找到并使用现成的位wheel文件,如大神仓库提供的资源,以简化安装过程。5. 环境测试与问题调试
安装后进行测试,可能会遇到小问题,如权限问题或torchvision的配置。逐步调试,确保每个步骤都正确无误。结论与总结
虽然过程曲折,但通过一步步的配置和尝试,最终实现了gloo分布式环境。记住,配置过程中遇到问题不要慌张,耐心解决每一个问题,一步步来,总会成功。如有任何疑问,本文作者愿意提供帮助和分享资源。 年8月日更新:已更新轮子文件链接,欢迎收藏和分享,共同进步。DGL-KE 安装及使用
DGL-KE 现在兼容 Python3.5 及以上版本,内部基于 PyTorch 框架构建。
安装步骤如下:首先安装 PyTorch,命令为 pip3 install torch;接着安装 DGL,使用 pip3 install dgl==0.4.3;最后安装 DGL-KE,执行 pip3 install dglke。
通过源码编译也是可行的。
安装完成后,运行测试命令,将自动下载 FBK 数据集并进行训练。
DGL-KE 提供了5个开源数据集,无需准备数据即可直接使用命令训练。
每个数据集包含5个文件。命令格式如下,只需修改 --dataset 参数以选择不同的数据集。
对于自定义图谱数据的训练,命令与公开数据集类似,需要按照指定格式加载数据文件。
以下是使用单个GPU机器训练的命令示例,主要关注参数设置和数据文件格式。
在训练过程中,如遇到GPU不可用的情况,可移除GPU相关命令,以便使用CPU运行。
训练、预测及相似度计算的命令如下:
训练命令:DGLBACKEND=pytorch dglke_train --model_name TransR --data_path data/own_kg --data_files train.txt test.txt valid.txt --format raw_udd_hrt --dataset own_kg --batch_size --log_interval --neg_sample_size --regularization_coef=1e-9 --hidden_dim --gamma .9 --lr 0. --batch_size_eval --test -adv --gpu 1 --max_step
预测命令:DGLBACKEND=pytorch dglke_predict --model_path /root/lv_my_task/ckpts/TransE_l1_own_kg_0 --format 'h_r_*' --data_files head.list rel.list --score_func logsigmoid --topK 5 --raw_data --entity_mfile /root/lv_my_task/data/own_kg/entities.tsv --rel_mfile /root/lv_my_task/data/own_kg/relations.tsv
计算相似度命令:DGLBACKEND=pytorch dglke_emb_sim --emb_file /root/lv_my_task/ckpts/TransE_l1_own_kg_0/own_kg_TransE_l1_entity.npy --format 'l_*' --data_files head.list --topK --raw_data --mfile /root/lv_my_task/data/own_kg/entities.tsv
ComfyUI学习笔记,ComfyUI安装
欢迎来到ComfyUI的学习之旅!这是一篇关于ComfyUI的安装步骤的笔记,旨在帮助您顺利完成安装并启动使用。
安装流程分为两种方式:一种是使用ComfyUI官方提供的整合包,另一种是通过git克隆源代码。官方整合包提供了运行所需的全部环境,操作简单。您只需下载一个压缩包(7z格式),使用常见解压软件将其解压。解压后,您将看到一个名为“python_embeded”的文件夹,其中包含了运行所需的Python环境、pytorch及其他包。
启动运行有两种选择:如果您没有Nvidia显卡,可选择“run_cpu.bat”;若有Nvidia显卡,推荐使用“run_nvidia_gpu.bat”。双击相应的脚本即可启动。
启动后,您将看到一个默认地址为“.0.0.1:”的网页窗口,这代表安装和启动已成功完成。如果需要安装模型文件,只需将它们放在“models/checkpoints”文件夹下,并通过点击右侧的“Refresh”按钮刷新列表。新添加的模型文件将立即显示在左侧的“Load Checkpoint”中。
对于那些已经安装了Stable Diffusion webui的用户,可以通过git克隆ComfyUI源代码,借助webui的环境来启动。首先,您需要将源代码克隆到本地。如果您不熟练使用命令行,也可以使用GitHub官方客户端操作。
接着,激活webui目录下的venv环境,选择使用conda启动或指定webui安装文件夹下的venv里的python来运行。具体步骤根据您之前安装webui的方式决定。
对于手动安装的需求或特定硬件(如AMD显卡在Linux环境下),请参考ComfyUI官网提供的详细步骤。无论是Windows、Mac还是Linux环境,ComfyUI都能满足您的需求。
最后,希望这篇笔记能帮助您顺利完成ComfyUI的安装,并开始您的生成之旅。欢迎在过程中遇到任何问题时,寻求进一步的帮助和指导。祝您学习顺利!