点击上方，选择星标或置顶，每天给你送干，接下来我们就来聊聊关于pytorch零基础?以下内容大家不妨参考一二希望能帮到您!

pytorch零基础（PyTorch常用代码段整理合集）

pytorch零基础

点击上方，选择星标或置顶，每天给你送干！

阅读大概需要12分钟

跟随小博主，每天进步一丢丢

本文代码基于 PyTorch 1.0 版本，需要用到以下包

基础配置

检查 PyTorch 版本

更新 PyTorch

PyTorch 将被安装在 anaconda3/lib/python3.7/site-packages/torch/目录下。

固定随机种子

指定程序运行在特定 GPU 卡上

在命令行指定环境变量

或在代码中指定

判断是否有 CUDA 支持

设置为 cuDNN benchmark 模式

Benchmark 模式会提升计算速度，但是由于计算中有随机性，每次网络前馈结果略有差异。

如果想要避免这种结果波动，设置

清除 GPU 存储

有时 Control-C 中止运行后 GPU 存储没有及时释放，需要手动清空。在 PyTorch 内部可以

或在命令行可以先使用 ps 找到程序的 PID，再使用 kill 结束该进程

  • 建议有参数的层和汇合（pooling）层使用 torch.nn 模块定义，激活函数直接使用 torch.nn.functional。torch.nn 模块和 torch.nn.functional 的区别在于，torch.nn 模块在计算时底层调用了 torch.nn.functional，但 torch.nn 模块包括该层参数，还可以应对训练和测试两种网络状态。使用 torch.nn.functional 时要注意网络状态，如
    • model(x) 前用 model.train() 和 model.eval() 切换网络状态。
    • 不需要计算梯度的代码块用 with torch.no_grad() 包含起来。model.eval() 和 torch.no_grad() 的区别在于，model.eval() 是将网络切换为测试状态，例如 BN 和随机失活（dropout）在训练和测试阶段使用不同的计算方法。torch.no_grad() 是关闭 PyTorch 张量的自动求导机制，以减少存储使用和加速计算，得到的结果无法进行 loss.backward()。
    • torch.nn.CrossEntropyLoss 的输入不需要经过 Softmax。torch.nn.CrossEntropyLoss 等价于 torch.nn.functional.log_softmax torch.nn.NLLLoss。
    • loss.backward() 前用 optimizer.zero_grad() 清除累积梯度。optimizer.zero_grad() 和 model.zero_grad() 效果一样。

    PyTorch 性能与调试

    • torch.utils.data.DataLoader 中尽量设置 pin_memory=True，对特别小的数据集如 MNIST 设置 pin_memory=False 反而更快一些。num_workers 的设置需要在实验中找到最快的取值。
    • 用 del 及时删除不用的中间变量，节约 GPU 存储。
    • 使用 inplace 操作可节约 GPU 存储，如
    • 减少 CPU 和 GPU 之间的数据传输。例如如果你想知道一个 epoch 中每个 mini-batch 的 loss 和准确率，先将它们累积在 GPU 中等一个 epoch 结束之后一起传输回 CPU 会比每个 mini-batch 都进行一次 GPU 到 CPU 的传输更快。
    • 使用半精度浮点数 half() 会有一定的速度提升，具体效率依赖于 GPU 型号。需要小心数值精度过低带来的稳定性问题。
    • 时常使用 assert tensor.size() == (N, D, H, W) 作为调试手段，确保张量维度和你设想中一致。
    • 除了标记 y 外，尽量少使用一维张量，使用 n*1 的二维张量代替，可以避免一些意想不到的一维张量计算结果。
    • 统计代码各部分耗时

    或者在命令行运行

    致谢

    感谢 @些许流年和@El tnoto的勘误。由于作者才疏学浅，更兼时间和精力所限，代码中错误之处在所难免，敬请读者批评指正。

    参考资料

    • PyTorch 官方代码：pytorch/examples (https://link.zhihu.com/?target=https://github.com/pytorch/examples)
    • PyTorch 论坛：PyTorch Forums (https://link.zhihu.com/?target=https://discuss.pytorch.org/latest?order=views)
    • PyTorch 文档：http://pytorch.org/docs/stable/index.html (https://link.zhihu.com/?target=http://pytorch.org/docs/stable/index.html)
    • 其他基于 PyTorch 的公开实现代码，无法一一列举

    ,