您好,欢迎来到12图资源库!分享精神,快乐你我!我们只是素材的搬运工!!
  • 首 页
  • 当前位置:首页 > 开发 > WEB开发 >
    PyTorch 1.8发布,支持AMD GPU和Python函数转换
    时间:2021-03-09 12:00 来源:网络整理 作者:网络 浏览:收藏 挑错 推荐 打印

    近日,PyTorch 团队发布了 PyTorch 1.8 版本。该版本整合了自去年 10 月 1.7 版本发布以来的 3000 屡次 commit,提供了编译、代码优化、迷信计算前端 API 方面的主要更新和新特性。值得一提的是,该版本新增了对 AMD ROCm 的支持。

    PyTorch 1.8发布,支持AMD GPU和Python函数转换

    此外,PyTorch 1.8 版本还为大规模训练 pipeline 和模型并行化、梯度紧缩提供了特性改良。该版本的主要亮点如下:

    支持 Python 函数转换;

    添加或波动化 API,以支持 FFT (torch.fft)、线性代数函数 (torch.linalg);

    添加对复杂张量 autograd 的支持;

    多项更新用于提升 Hessian 与 Jacobian 矩阵计算的功用;

    改良散布式训练,包括提升 NCCL 牢靠性、支持 pipeline 并行化、RPC profiling,以及经过添加梯度紧缩来支持通讯钩子(hook)。

    (注:从 PyTorch 1.6 版本末尾,PyTorch 特性分为 Stable(波动版)、Beta(测试版)和 Prototype(原型版)。

    此外,PyTorch 团队还对多个 PyTorch 库停止了主要更新,包括 TorchCSPRNG、TorchVision、TorchText 和 TorchAudio。

    新增和更新 API

    (1) 经过 torch.fft 支持 NumPy 兼容的 FFT 操作

    PyTorch 1.7 版本提出了这一特性的 Beta 版,而在 1.8 版本中该特性更新为波动版。FFT 支持旨在完成 PyTorch 支持迷信计算的目的。torch.fft 模块和 NumPy 的 np.fft 模块完成了异样的功用,并且支持硬件减速和 autograd。

    (2) 经过 torch.linalg 支持 NumPy 式的线性代数函数

    torch.linalg 模块相似于 NumPy 中的 np.linalg 模块,支持 NumPy 式的线性代数操作,包括 Cholesky 分解、行列式、特征值等。

    运用 torch.fx 停止 Python 代码转换

    这一 Beta 特性支持 Python 代码转换,开发者可以应用它做 Conv/BN 融合、图形式量化、完成 vmap 等。鉴于 torch.fx 提供 PyTorch 代码的图表示,开发者可以用 Python 写恣意变换或剖析。

    PyTorch 1.8发布,支持AMD GPU和Python函数转换

    散布式训练

    (1) pipeline 并行化

    这一新增的 Beta 特性提供了一个易用的 PyTorch API,可将 pipeline 并行化作为训练 loop 的一部分。

    (2) DDP 通讯钩子

    DDP 通讯钩子是一个通用接口,用于控制 workers 间的梯度通讯。

    此外,PyTorch 1.8 还添加了一些 prototype 特性:

    ZeroRedundancyOptimizer:有助于增加每个线程的内存占用;

    Process Group NCCL Send/Recv:该特性允许用户在 Python 层(而非 C++ 层)完成集合操作;

    CUDA-support in RPC using TensorPipe:该特性为运用 PyTorch RPC 和多 GPU 机器的用户带来速度提升;

    Remote Module:该特性允许用户像操作本地模块那样操作远程 worker 上的模块。

    支持 PyTorch Mobile

    此次版本更新发布了一组新的移动端教程,包括在 iOS 端和安卓端完成图像联系 DeepLabV3 模型。PyTorch 还发布了新的 demo app,包括图像联系、目的检测、神经机器翻译、问答和视觉 transformer。

    此外,这次发布还包括 PyTorch Mobile Lite Interpreter,该解释器可降低运转时二进制文件大小。

    功用优化

    为了协助用户更好地监控功用变化,PyTorch 1.8 版本支持 benchmark utils,并开放了新的自动量化 API——FX Graph Mode Quantization。

    硬件支持

    在硬件支持方面,PyTorch 1.8 版本新增了两个 Beta 特性:

    扩展 PyTorch Dispatcher,使之顺应新型 C++ 后端;支持 AMD ROCm。

    需求留意的是,PyTorch 1.8 仅在 Linux 系统中支持 AMD ROCm。

    参考链接:

    https://pytorch.org/blog/pytorch-1.8-released/

    https://github.com/pytorch/pytorch

    https://pytorch.org/

    https://twitter.com/cHHillee/status/1367621538791317504

    (责任编辑:admin)