PyTorch快速入门PyTorch快速入门，我来为大家科普一下关于pytorch概念图解?以下内容希望对你有帮助!
pytorch概念图解
PyTorch快速入门
PyTorch快速入门
概述
本教程通过十分钟快速入门和代码实践带你走入python的AI世界。
PyTorch代码概述
model/net.py
：指定神经网络架构，损失函数和评估指标
model/data_loader.py
：指定如何将数据馈送到网络
train.py
：包含主要训练循环
evaluate.py
：包含用于评估模型的主循环
utils.py
：用于处理hyperparams /日志/存储模型的实用程序函数
建议您仔细阅读
train.py
以获得详细认识。
摸熟后，您可能需要修改代码，具体取决于您的任务和数据集
model/net.py
改变模型，即如何将输入转换为预测以及损失等。
model/data_loader.py
更改将数据提供给模型的方式。
train.py
evaluate.py
一旦您获得了适用于的数据集，可以随意编辑代码以满足需求。
绕不过的理论：张量和变量
在进一步讨论之前，我强烈建议您使用PyTorch进行快速实践，以了解PyTorch的基础知识。这是一个潜行峰。
PyTorch张量的行为与NumPy的数组相似。
>>>importtorch>>>a=torch.Tensor([[1,2],[3,4]])>>>print(a)1234[torch.FloatTensorofsize2x2]>>>print(a**2)14916[torch.FloatTensorofsize2x2]
PyTorch变量允许您包装Tensor并对其执行记录操作。
>>>fromtorch.autogradimportVariable>>>a=Variable(torch.Tensor([[1,2],[3,4]]),requires_grad=True)>>>print(a)Variablecontaining:1234[torch.FloatTensorofsize2x2]>>>y=torch.sum(a**2)# 1 4 9 16>>>print(y)Variablecontaining:30[torch.FloatTensorofsize1]>>>y.backward()# compute gradients of y wrt a>>>print(a.grad)# print dy/da_ij = 2*a_ij for a_11, a_12, a21, a22Variablecontaining:2468[torch.FloatTensorofsize2x2]
这PyTorch以其极简主义和直观的语法包含优雅和表现力。在继续之前，请先熟悉参考资料部分中的更多示例。
核心步骤
让我们先来看看训练算法的核心是什么样的。下面的五行通过模型传递一批输入，计算损失，执行反向传播并更新参数。
output_batch=model(train_batch)# compute model outputloss=loss_fn(output_batch,labels_batch)# calculate lossoptimizer.zero_grad()# clear previous gradientsloss.backward()# compute gradients of all variables wrt lossoptimizer.step()# perform updates using calculated gradients
每个变量
train_batch
，
labels_batch
，
output_batch
和
loss
是一个PyTorch变量，并且允许自动计。
我们编写的所有其他代码都是围绕这个构建的 - 模型的确切规范，如何获取一批数据和标签，计算损失和优化器的细节。在这篇文章中，将介绍如何在PyTorch中编写简单模型，计算损失并定义优化器。
PyTorch中的模型
可以通过继承类来在PyTorch中定义模型
torch.nn.Module
。该模型分为两个步骤。首先指定模型的参数，然后概述它们如何应用于输入。对于不涉及可训练参数的操作（激活函数，如ReLU，像maxpool这样的操作），我们通常使用该
torch.nn.functional
模块。以下是从这里借来的单个隐藏层神经网络的示例：
importtorch.nnasnnimporttorch.nn.functionalasFclassTwoLayerNet(nn.Module):def__init__(self,D_in,H,D_out):""" In the constructor we instantiate two nn.Linear modules and assign them as member variables. D_in: input dimension H: dimension of hidden layer D_out: output dimension """super(TwoLayerNet,self).__init__()self.linear1=nn.Linear(D_in,H)self.linear2=nn.Linear(H,D_out)defforward(self,x):""" In the forward function we accept a Variable of input data and we must return a Variable of output data. We can use Modules defined in the constructor as well as arbitrary operators on Variables. """h_relu=F.relu(self.linear1(x))y_pred=self.linear2(h_relu)returny_pred
该
__init__
函数初始化模型的两个线性层。PyTorch负责始化您指定的参数。在
forward
函数中，我们首先应用第一个线性层，应用ReLU激活，然后应用第二个线性层。该模块假定第一个维度
x
是批量大小。如果网络的输入只是维度为100的向量，批量大小为32，则维度为
x
32,100。让我们看一个如何定义模型和计算正向传递的示例：
# N is batch size; D_in is input dimension;# H is the dimension of the hidden layer; D_out is output dimension.N,D_in,H,D_out=32,100,50,10# Create random Tensors to hold inputs and outputs, and wrap them in Variablesx=Variable(torch.randn(N,D_in))# dim: 32 x 100# Construct our model by instantiating the class defined abovemodel=TwoLayerNet(D_in,H,D_out)# Forward pass: Compute predicted y by passing x to the modely_pred=model(x)# dim: 32 x 10
更复杂的模型遵循相同的布局，我们将在后续帖子中看到其中两个。
损失函数
PyTorch提供了许多标准loss功能，可供您在
torch.nn
模块中使用。这是一个如何计算交叉熵损失的简单示例。假设我们的模型解决了带
C
标签的多类分类问题。然后对于一批大小
N
，
out
是
NxC
通过在模型中传递输入批次获得的PyTorch维度变量。我们还有一个
target
大小的变量
N
，其中每个元素都是该示例的类，即中的标签
[0,...,C-1]
。您可以定义损失函数并计算损失，如下所示：
loss_fn=nn.CrossEntropyLoss()loss=loss_fn(out,target)
PyTorch可以很容易地扩展它并编写自己的自定义损失函数。我们可以编写自己的Cross Entropy Loss函数，如下所示（注意NumPy-esque语法）：
defmyCrossEntropyLoss(outputs,labels):batch_size=outputs.size()[0]# batch_sizeoutputs=F.log_softmax(outputs,dim=1)# compute the log of softmax valuesoutputs=outputs[range(batch_size),labels]# pick the values corresponding to the labelsreturn-torch.sum(outputs)/num_examples
这是编写自己的损失函数的一个相当简单的例子。
优化
优化算法
torch.optim
软件包为常见的优化算法提供了易于使用的界面。定义优化器非常简单：
# pick an SGD optimizeroptimizer=torch.optim.SGD(model.parameters(),lr=0.01,momentum=0.9)# or pick ADAMoptimizer=torch.optim.Adam(model.parameters(),lr=0.0001)
传递了每次迭代需要更新的模型参数。还可以指定更复杂的方法，例如参数学习率。
一旦使用计算梯度
loss.backward()
，调用
optimizer.step()
更新优化算法定义的参数。
训练与评估
训练与评估
训练与评估
在训练模型之前，必须打调用
model.train()
。同样，调用
model.eval()
在测试模型之前。这可以纠正培训和测试过程中的丢失，批量标准化的差异。
计算指标
在这个阶段，您应该能够理解大部分代码
train.py
和
evaluate.py
除了密切关注损失之外，监控其他指标（如准确性和精确度/召回率）也很有帮助。为此，您可以为文件中的一批模型输出定义自己的度量标准函数
model/net.py
。为了使其更容易，我们将PyTorch变量转换为NumPy数组，然后将它们传递给度量函数。对于在损失函数一节中设置的多类分类问题，我们可以使用NumPy编写一个计算精度的函数：
defaccuracy(out,labels):outputs=np.argmax(out,axis=1)returnnp.sum(outputs==labels)/float(labels.size)
您可以在
model/net.py
文件中添加自己的指标。完成后，只需将它们添加到
metrics
中：
metrics={'accuracy':accuracy,# add your own custom metrics,}
保存和加载模型
我们定义实用程序函数来保存和加载模型
utils.py
。要保存模型，请执行：
state={'epoch':epoch 1,'state_dict':model.state_dict(),'optim_dict':optimizer.state_dict()}utils.save_checkpoint(state,is_best=is_best,# True if this is the model with best metricscheckpoint=model_dir)# path to folder
utils.py
在内部使用该
torch.save(state, filepath)
方法来保存上面定义的状态。您可以向状态中添加更多，例如指标。
model.state_dict()
存储模型和参数
optimizer.state_dict()
存储优化的状态（如每个参数学习率）。
要从检查点加载已保存的状态，您可以使用：
utils.load_checkpoint(restore_path,model,optimizer)
该
optimizer
参数是可选的，你可以选择一个新的优化器重新启动。
load_checkpoint
内部加载保存的检查点并恢复模型权重和优化程序的状态。
使用GPU
通过代码散布，你会发现如下行：
>model=net.Net(params).cuda()ifparams.cudaelsenet.Net(params)>ifparams.cuda:batch_data,batch_labels=batch_data.cuda(),batch_labels.cuda()
PyTorch使用这些命令使GPU显式透明。调用
.cuda()
模型/ Tensor / Variable将其发送到GPU。为了在GPU上训练模型，必须将所有相关参数和变量发送到GPU
.cuda()
。
调试
凭借其简洁的设计，PyTorch使调试变得轻而易举。您可以
pdb.set_trace()
在代码中的任何行使用断点。然后，您可以执行进一步的计算，检查PyTorch张量/变量并查明错误的根本原因。
以上就是使用PyTorch的基本套路。大家感觉如何？欢迎评论交流。
