pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(1)

作者 | Jordi TORRES.AI

deephub翻译组 | Alexander Zhao

来源 | DeepHub IMBA（ID:deephub-imba）

编程实现神经网络的最佳框架是什么？TensorFlow还是PyTorch？我的回答是：别担心，你从哪一个入门，你选择哪一个并不重要，重要的是自己动手实践！下面我们开始吧！

这两种框架都提供了编程神经网络常用的机器学习步骤：

这些步骤可以在任何一个框架中找到非常类似的实现（即使是像MindSpore这样的框架）。为此，在本文中，我们将构建一个神经网络模型，分别在PyTorch API与TensorFlow keras API下进行手写数字分类任务的实现。

pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(2)

神经网络编程步骤

a）导入必要的库

在这两个框架中，我们需要首先导入一些Python库并定义一些我们将需要训练的超参数：

import numpy as np import matplotlib.pyplot as plt epochs = 10 batch_size=64

对于TensorFlow，您仅需要额外导入以下库：

import tensorflow as tf

而对于PyTorch，您还需要导入这两个库：

import torch import torchvision

b）导入并预处理数据

使用TensorFlow加载和准备数据可以使用以下两行代码：

(x_trainTF_, y_trainTF_), _ = tf.Keras.datasets.mnist.load_data x_trainTF = x_trainTF_.reshape(60000, 784).astype('float32')/255 y_trainTF = tf.keras.utils.to_categorical(y_trainTF_, num_classes=10)

而在PyTorch则是这两行代码：

xy_trainPT = torchvision.datasets.MNIST(root='./data', train=True,download=True,transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()])) xy_trainPT_loader = torch.utils.data.DataLoader(xy_trainPT, batch_size=batch_size)

我们可以通过matplotlib.pyplot库验证这两个代码是否加载了相同的数据：

print("TensorFlow:") fig = plt.figure(figsize=(25, 4)) for idx in np.arange(20): ax = fig.add_subplot(2, 20/2, idx 1, xticks=[], yticks=[]) ax.imshow(x_trainTF_[idx], cmap=plt.cm.binary) ax.set_title(str(y_trainTF_[idx]))

print("PyTorch:") fig = plt.figure(figsize=(25, 4)) for idx in np.arange(20): ax = fig.add_subplot(2, 20/2, idx 1, xticks=[], yticks=[]) ax.imshow(torch.squeeze(image, dim = 0).numpy, cmap=plt.cm.binary) image, label = xy_trainPT [idx] ax.set_title(str(label))

c）定义模型

在定义模型的时候，这两种框架都使用相当相似的语法来完成。对于TensorFlow，可以使用以下代码来完成：

modelTF = tf.keras.Sequential([tf.keras.layers.Dense(10,activation='sigmoid',input_shape=(784,)),tf.keras.layers.Dense(10,activation='softmax') ])

在PyTorch下则这么完成：

modelPT= torch.nn.Sequential( torch.nn.Linear(784,10),torch.nn.Sigmoid,torch.nn.Linear(10,10), torch.nn.LogSoftmax(dim=1) )

d）定义优化器与损失函数

同样，指定优化器和loss函数的方法在两个框架下也是很相似的。在TensorFlow下，我们可以这样做：

modelTF.compile( loss="categorical_crossentropy", optimizer=tf.optimizers.SGD(lr=0.01), metrics = ['accuracy'] )

在PyTorch下则是这样的：

criterion = torch.nn.NLLLoss optimizer = torch.optim.SGD(modelPT.parameters, lr=0.01)

e）训练模型

最大的不同在于训练。对于TensorFlow，我们只需要这一行代码：

_ = modelTF.fit(x_trainTF, y_trainTF, epochs=epochs, batch_size=batch_size, verbose = 0)

而在PyTorch下则更长，像这样：

for e in range(epochs): for images, labels in xy_trainPT_loader: images = images.view(images.shape[0], -1) loss = criterion(modelPT(images), labels) loss.backward optimizer.step optimizer.zero_grad

PyTorch没有内置像在Keras或Scikit-learn中非常常见的fit等训练方法，因此训练循环必须由程序员手动指定。嗯，这其实是在简单性和实用性之间进行一定的折衷，以便能够做更多自定义的事情。

f）评估模型

评估模型也是如此，在TensorFlow中，您只需对测试数据调用evaluate方法：

_, (x_testTF, y_testTF)= tf.keras.datasets.mnist.load_data x_testTF = x_testTF.reshape(10000, 784).astype('float32')/255 y_testTF = tf.keras.utils.to_categorical(y_testTF, num_classes=10) _ , test_accTF = modelTF.evaluate(x_testTF, y_testTF) print('\nAccuracy del model amb TensorFlow =', test_accTF) TensorFlow model Accuracy = 0.8658999800682068

在PyTorch中，再次需要程序员手动定义评估循环：

xy_testPT = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()])) xy_test_loaderPT = torch.utils.data.DataLoader(xy_testPT) correct_count, all_count = 0, 0 for images,labels in xy_test_loaderPT: for i in range(len(labels)): img = images[i].view(1, 784) logps = modelPT(img) ps = torch.exp(logps) probab = list(ps.detach.numpy[0]) pred_label = probab.index(max(probab)) true_label = labels.numpy[i] if(true_label == pred_label): correct_count = 1 all_count = 1 print("\nAccuracy del model amb PyTorch =", (correct_count/all_count)) TensorFlow model Accuracy = 0.8657

pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(3)

更重要的是，它们在相互融合！

好了，如这个简单的示例所示，在TensorFlow和PyTorch中创建神经网络的方式并没有真正的区别，只是在一些细节方面，程序员必须实现训练和评估循环的方式，以及一些超参数，像epoch或batch_size是在不同的步骤中指定的。

实际上，在过去两年中，这两个框架一直在不断融合，相互学习并采用它们的长处。例如，在几周前发布的新版本TensorFlow 2.2中，训练步骤可以像PyTorch一样，现在程序员可以通过实现train_step来指定循环主体的详细内容。因此，不必担心选择“错误的”框架，它们正在相互融合！最重要的是要学习背后的深度学习概念，您在其中一个框架中获得的所有知识在另一个框架下照样有用。

pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(4)

工业应用还是学术研究？

但是，很明显，神经网络的工业应用与学术研究是截然不同的。在这种情况下，决定选择哪一个很重要。

TensorFlow是一个非常强大且成熟的Python库，具有强大的可视化功能以及用于高性能模型开发的各种选项。它具有准备用于生产的部署共轭能，并自动支持Web和移动平台。

另一方面，PyTorch仍然是一个年轻的框架，但是拥有一个非常活跃的社区，尤其是在研究领域。门户网站The Gradient在附图中显示了主要的深度学习会议（CVPR，ICRL，ICML，NIPS，ACL，ICCV等）发表的研究论文中PyTorch的使用量，可以看到PyTorch在研究界的兴起和广泛采用。

从2018年的数据可以看出，Pythorch框架的使用还是少数，而相比之下，2019年的使用量对比TensorFlow是压倒性的。因此，如果你想创造与人工智能相关的产品，TensorFlow是一个不错的选择。如果你想做研究，我推荐PyTorch。

pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(5)

新手请选择Keras

如果你还是个萌新，对这一切都还很不了解，请从TensorFlow的Keras API开始。PyTorch的API具有更大的灵活性和控制力，但显然TensorFlow的Keras API可以更容易上手。而且，如果您正在阅读这篇文章，我假定您是深度学习领域的入门者。

顺便说一句，Keras计划在2020年推出几种新特性，它们都是为了“让事情变得更容易”。以下是最近添加的或即将发布的一些新功能的列表：

到目前为止，我们已经使用NumPy和PIL（Python Imaging Library）编写的辅助工具完成了预处理。这种外部预处理使模型的可移植性降低，因为每次有人重用已经训练好的模型时，他们都必须重新实现整个预处理流程。因此，通过“预处理层”，预处理现在可以成为模型的一部分。这包括诸如文本标准化，标记化，向量化，图像标准化，数据增强等方面。也就是说，这将允许模型接受原始文本或原始图像作为输入。我个人认为这将非常有趣。

这是一个可让您在Keras中找到模型的最佳超参数的框架。当你开始进行一些深度学习工作时，您会发现超参数的调整将是整个工作中最为繁重的部分，这个框架旨在解决这一问题。

该项目旨在用几行代码建立一个很好的机器学习模型，根据可能的模型空间自动搜索最佳模型，并使用Keras Tuner查找进行超参数调整。对于高级用户，AutoKeras还允许对搜索空间和过程的配置进行更高级别的控制。

我们的愿景是让程序员更容易地将本地代码（我们的笔记本电脑或Google Colab本地工作）移动到云端，使其能够在云端以最佳和分布式的方式执行此代码，而不必担心集群或Docker参数。

与TFX（TensorFlow Extended，用于管理机器学习生产应用程序的平台）进行更多集成的工作正在进行中，并为将模型导出到TF Lite（用于移动和嵌入式设备的机器学习执行引擎）提供更好的支持。毫无疑问，改善对模型生产的支持对于Keras程序员的忠诚度至关重要。

pytorch与tensorflow训练的模型（TensorFlow还是PyTorch）(6)

小结

打个比方，你认为哪种语言是入门编程的最佳语言，C 还是Java？好吧…这取决于我们想用它做什么，最重要的是取决于我们能学到什么样的工具。我们可能无法达成一致，因为我们有一个先入为主的观点，我们很难改变对这个问题的回答（同样的情况也发生在PyTorch和TensorFlow的“粉丝”身上