1.nvcc(CUDA)简介
2.CUDA相关 | Unbuntu 如何安装CUDA Toolkit
3.GPU编程3：CUDA环境安装和IDE配置
4.银河系CUDA编程指南(2.5)——NVCC与PTX
5.显卡，编译c编显卡驱动,器源nvcc, cuda driver,cudatoolkit,cudnn到底是什么？
6.CUDA 多重架构编译

nvcc(CUDA)简介

       nvcc：NVIDIA  Cuda compiler driver

        简单的说，就是CUDA开发环境下的C语言编译器

        The main wrapper for the NVIDIA CUDA Compiler suite. Used to compile and link both host and gpu code.

CUDA相关 | Unbuntu 如何安装CUDA Toolkit

       在Ubuntu .上安装CUDA Toolkit的目标是为了利用其编译器nvcc进行文件编译。安装过程如下：

       首先，编译c编确保你的器源系统已经安装了Nvidia Driver，可以通过运行相关命令检查驱动版本。编译c编确认当前驱动版本（例如..）适配于CUDA Toolkit .2版本。器源银行预约系统源码

       接着，编译c编前往Nvidia官网寻找CUDA Toolkit .2的器源archive版本。选择合适的编译c编platform版本，注意选择local installer以节省网络流量。器源下载大约3GB的编译c编安装包，耗时较长。器源

       按照官网提供的编译c编installer instructions逐步进行安装。设置CUDA存储库优先级后，器源下载并通过dpkg工具安装CUDA的编译c编.deb文件。可能需要先注册GPG密钥。注意，安装过程中要跳过nvidia的某些命令，尤其是自动安装driver的部分，因为我们已经有了。

       查阅文档，确认需要安装的是cuda-toolkit--2，而非cuda。接着，配置环境变量，包括PATH和CUDADIR，确保CUDA相关命令和库的可访问性。最后，在`/etc/profile.d/`和`/etc/ld.so.conf.d/`目录下创建`cuda.sh`和`cuda.conf`文件，并保存设置。

       重启系统后，金钻突破源码CUDA Toolkit已成功安装，并配置了必要的环境。现在你可以使用nvcc编译文件了。

GPU编程3：CUDA环境安装和IDE配置

       本文指导如何在个人机器上安装CUDA环境，结合集成开发环境Clion进行配置，以方便后续CUDA编程学习。

       安装CUDA环境如下：

       1. 针对显卡型号，从官方下载相应驱动。

       示例显卡型号：小米pro寸，GF MX 。

       参考链接：nvidia.cn/Download/index.aspx

       2. 阻止或卸载nouveau驱动。

       3. 通过控制台进入文本界面，安装NVIDIA驱动。

       步骤示例：调整引导运行级别，以便开机进入文本界面。

       网址参考：jingyan.baidu.com/article/0abcb0fbdf.html

       4. 确认驱动安装。

       5. 尽量与CUDA版本匹配安装NVIDIA驱动。

       6. 进行CUDA测试。

       CUDA代码编译与运行：

       编译CUDA源码时，包含两个部分：CUDA设备函数与主机函数，它们分开独立编译。CUDA 5.0+支持文件间设备代码独立编译，而整体编译是默认模式。

       编译三个文件（a.cu, b.cu, c.cpp），其中a.cu调用了b.cu中定义的设备代码，可以使用独立编译方式实现。

       详细编译步骤：使用nvcc编译设备函数，普通C/C++编译器编译主机代码。

       举例：`nvcc a.cu`编译设备文件。

       实际工程中，上涨源码指标公式为了优化编译效率，常采用`makefile`或`CMake`工具配置源码编译。

       `nvcc`支持多种快捷开关，如`-arch=sm_`编译特定架构。

       基于Clion的CUDA配置流程：

       1. 遇到Clion创建CUDA可执行文件失败问题。

       检查是否已安装NVCC。

       验证机器安装GPU卡。

       检查安装路径：执行`which nvcc`，若未找到，则进行安装。

       确认安装位置：输入`nvcc`显示默认路径，通常为`/usr/bin/nvcc`。

       2. 利用Clion新建CUDA项目，并设置CMake。

       配置CMake代替`makefile`，简化编译过程。

       输出及结果：提供示例链接供参考。

银河系CUDA编程指南(2.5)——NVCC与PTX

       在构建了一个以cuDNN和cuBLAS为基础的简单深度学习框架后，我已将其开源，并鼓励大家参与交流学习。未来计划逐步完善框架，将尝试使用纯CUDA C实现，并与cuDNN进行性能比较。关于cuDNN的使用，我也会后续专门撰写文章进行详细介绍。

       NVCC，CUDA的编译器，其核心是NVVM优化器，基于LLVM编译器结构。它本质上是滚动特效源码大全一个集合，调用gcc、cicc、ptxas等工具编译CUDA源代码，区分主机代码（用ANSI C编写）和设备代码（CUDA扩展语言编写）。

       NVCC的编译过程分为离线编译和即时编译，通过预处理将源代码分为两部分，分别由不同编译器处理，最终合并为单个object文件。例如，通过dryrun选项可以查看编译步骤，包括头文件配置、CUDA设备代码编译等。

       PTX是CUDA的编程模型和指令集，是一种虚拟架构汇编，允许跨GPU优化。NVCC通过虚拟架构编译生成PTX，然后在实际GPU上执行为SASS。编译时，需设置虚拟和实际GPU架构以保证兼容性。

       Separate Compilation允许在编译阶段将device code分开处理，形成relocatable代码，然后在链接阶段定位到最终的host object。这与Whole Program Compilation不同，后者直接编译为executable device code。

       以cudnn-learning-framework的Makefile为例，需配置CUDA相关路径，添加cuDNN库，并调整编译生成部分，确保链接所有需要的.o文件。NVCC命令在编译时会执行链接任务。代还源码分享

显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么？

       在深度学习领域，常会遇到显卡、显卡驱动、nvcc、cuda driver、cudatoolkit和cudnn等名词。下面将对这些概念进行详细解析。

       GPU架构与芯片

       GPU架构指的是硬件设计思想，包括核心数量、缓存（L1或L2）及双精度计算单元等。GPU设计遵循某一架构思想，每一代架构代表一种完成并行计算的方式。芯片则是实现该架构思想的实体，例如GT中第二个字母指示架构代，和代芯片设计思路一致，但在细节上有所不同，如GK的寄存器数量是GK的两倍。有时显卡内含多张芯片，如Tesla k采用了两块GK。

       GPU系列选择

       NVIDIA区分GPU系列为GeFore（家用娱乐）、Quadro（工作站）和Tesla（服务器）。Tesla系列以高性能计算为特色，特别是双精度浮点运算能力高，支持ECC内存。Tesla M系列则专注于深度学习网络训练。需要注意的是，Tesla系列不支持图形显示，仅专注于数据计算。

       CUDA与cudnn

       CUDA是NVIDIA推出的计算平台与编程模型，允许GPU执行通用计算任务。cudnn是专门为深度学习设计的软件库，包含卷积等计算函数，为深度学习提供优化算法。

       CUDA Toolkit组件

       CUDA Toolkit包括nvcc（CUDA编译器）、nvidia-smi（系统管理工具）等。nvcc用于编译CUDA程序为可执行文件，支持CPU和GPU代码。nvidia-smi监控GPU设备状态。

       CUDA版本差异

       nvcc显示CUDA runtime版本，nvidia-smi显示driver API版本。在不同情况下，driver API和runtime API的版本不一致可能导致兼容性问题。

       runtime与driver API区别

       runtime API为更高级的封装，便于开发者使用；driver API接近底层，性能可能更高。两者不能同时使用。

       PATH、LIBRARY_PATH与LD_LIBRARY_PATH

       PATH用于可执行文件路径，LIBRARY_PATH和LD_LIBRARY_PATH用于库文件路径。PATH在编译时设置，LIBRARY_PATH与LD_LIBRARY_PATH在运行时使用。

       多版本CUDA管理

       下载与安装CUDA Toolkit时，选择.run文件避免替换已安装的驱动程序。安装后，配置PATH和库路径确保兼容性。

       Cuda Toolkit与Anaconda

       使用Anaconda安装的cudatoolkit包含所需的动态链接库，无需安装完整CUDA Toolkit。对于深度学习框架，仅需动态链接库即可运行。

       总结

       显卡、显卡驱动、nvcc、cuda driver、cudatoolkit和cudnn是深度学习开发中关键组件，各司其职。通过理解这些概念，开发者能更高效地配置环境并实现高性能计算。

CUDA 多重架构编译

       CUDA 多重架构编译实践与应用

       CMake 脚本中的关键代码段旨在通过配置 NVCC 编译器选项，确保生成的 CUDA 代码能够跨多种 NVIDIA GPU 架构运行。通过为不同计算能力（如 5.0 到 7.5）指定编译指令，编译后的二进制文件能够在不同GPU上无缝执行，无需针对每款设备单独编译。

       在CMake配置中，CMAKE_CUDA_ARCHITECTURES 变量从 CMake 3.版本开始，允许自动根据当前GPU架构进行优化。将该变量设置为 OFF，NVCC会自动识别并为可用的GPU生成优化代码。对于早期版本，需使用CMAKE_CUDA_FLAGS手动添加编译器标志，如-gencode来指定GPU架构，如 sm_ 用于RTX Ti。

       举例来说，对于RTXTi，其计算能力为 7.5，编译时应使用 sm_，而在CMake中可以这样设置：

       cpp

       set(CMAKE_CUDA_ARCHITECTURES "compute_,code=sm_")

       同样，NVIDIA L GPU（Compute Capability 8.9）的编译应使用sm_。在CMake中，配置为：

       cpp

       set(CMAKE_CUDA_ARCHITECTURES "compute_,code=sm_")

       值得注意的是，PTX和SASS是GPU编程中的两种代码类型，它们分别对应不同的执行层次和优化目标。CUDA C++代码在编译过程中，编译器会处理PTX和SASS的生成与优化，开发者无需直接关注。

       不同Compute Capability版本的GPU，如5.x到9.0，具有不同的核心数、特性、内存配置等，这些差异影响着CUDA程序的性能和兼容性。开发者在选择GPU和编写CUDA代码时，需考虑目标架构的Compute Capability，以确保程序的兼容性和优化效果。

nvidia软件栈

       nvidia 软件栈整体

       包括 CUDA, cuDNN, cudatoolkit, CUDA driver, nvcc, nvidia-smi

       CUDA

       Compute Unified Device Architecture, NVIDIA 的 GPU 并行计算平台与编程模型。支持 C, C++, Fortran 等语言。

       CUDA 是一个并行计算平台和编程模型，使使用 GPU 进行通用计算变得简单优雅。开发者仍使用熟悉的 C, C++, Fortran 或支持的多种语言进行编程，并通过扩展这些语言的关键词进行操作。CUDA | NVIDIA 官方博客

       cuDNN

       GPU 加速的深度神经网络库。为常用的神经网络操作如正向传播、反向传播、池化、标准化、激活层等提供高度定制的实现。

       全球深度学习研究人员和框架开发者依赖 cuDNN 以获得 GPU 加速性能。它允许开发者专注于训练神经网络和开发软件应用程序，而无需花费时间在低级 GPU 性能调优上。

       cudatoolkit

       高性能 GPU 加速应用的开发环境，提供 GPU 加速库、调试和优化工具、C/C++ 编译器以及部署应用程序的 runtime 库。

       NVIDIA® CUDA® 工具包提供创建高性能 GPU 加速应用的开发环境。CUDA 工具包允许您在嵌入式系统、桌面工作站、企业数据中心、云平台和 HPC 超级计算机上开发、优化和部署应用程序。工具包包括 GPU 加速库、调试和优化工具、C/C++ 编译器和用于部署应用的 runtime 库。

       运行 CUDA 应用程序需要系统至少具有一个支持 CUDA 的 GPU 和与 CUDA 工具包兼容的驱动程序。每个 CUDA 工具包版本对应最低版本的 CUDA 驱动程序。CUDA 驱动程序向后兼容，因此特定 CUDA 版本编译的应用程序可以在后续版本的驱动程序上继续工作。

       CUDA Toolkit 包括以下组件：

       Compiler: CUDA-C 和 CUDA-C++ 编译器 NVCC，位于 bin/ 目录中。建立在 NVVM 优化器之上，而 NVVM 优化器构建在 LLVM 编译器基础结构之上。开发者可以使用 nvm/ 目录下的 Compiler SDK 直接针对 NVVM 进行开发。

       Tools: 包括如 profiler、debuggers 等工具，可以从 bin/ 目录获取。

       Libraries: 部分科学库和实用程序库，可在 lib/ 目录使用（Windows 上的 DLL 位于 bin/ 中），接口在 include/ 目录获取。

       CUDA Driver: 运行 CUDA 应用程序需要系统至少具备具有 CUDA 功能的 GPU 和与 CUDA 工具包兼容的驱动程序。每个 CUDA 工具包版本对应一个最低版本的 CUDA Driver。CUDA Driver 向后兼容，根据 CUDA 特定版本编译的应用程序可以在后续发布的 Driver 上继续工作。通常在安装 CUDA Toolkit 时默认会安装 CUDA Driver。在开发阶段可以选择默认安装 Driver，但对于商用 Tesla GPU 等情况建议安装官方推荐的最新版本 Driver。

       nvcc

       CUDA 编译器，功能类似 GCC。

       nvcc 是 CUDA 的编译器，可以从 CUDA Toolkit 的 bin 目录获取，类似于 gcc 是 C 语言的编译器。程序需要被编译器编程成可执行的二进制文件，CUDA 程序包含两种代码，一种是运行在 CPU 上的 host 代码，另一种是运行在 GPU 上的 device 代码，因此 nvcc 编译器确保两部分代码能够编译成在不同机器上执行的二进制文件。

       nvidia-smi

       NVIDIA 系统管理接口，基于 NVIDIA 管理库构建的命令行实用工具，旨在帮助管理和监控 NVIDIA GPU 设备。

       cudart

       CUDA Runtime

       cudadevrt

       CUDA 设备 runtime

       cupti

       CUDA 采样工具接口

       nvml

       NVIDIA 管理库

       nvrtc

       CUDA 运行时编译

       cublas

       BLAS（基础线性代数程序集）

       cublas_device

       BLAS 核接口

       CUDA Samples

       提供使用 CUDA 和 library API 的代码示例。在 Linux 和 Mac 上，代码示例位于 samples/ 目录中，Windows 上的路径是 C：\ProgramData\NVIDIA Corporation\CUDA Samples。在 Linux 和 Mac 上，samples/ 目录是只读的，如果要对它们进行修改，则必须将示例复制到另一个位置。