作者:Slav Ivanov@blog.slavv.com

问耕 编译整理

量子位 出品 | 公众号 QbitAI

Macbook这种轻薄的笔记本,是搞不了深度学习的。亚马逊P2云服务,会给堆积越来越多的账单,换个便宜的服务,训练时间又太长……

没办法,已经十多年没用过台式机的我,只能重新着手DIY装机,搭建一套自己的深度学习系统。以下是我的系统搭建和测试过程。

硬件清单

之前,我在AWS亚马逊云服务上的花费是每月70美元(约480元人民币)。按照使用两年计算,我给这套系统的总预算是1700美元(约11650元)。

深度学习硬件方案 一万元搭建深度学习系统(1)

GPU

肯定得买Nvidia,没有其他选择。买两块还是一块?我想了想,还是先买一个性能更好的,以后有钱了再增加。综合显存、带宽等因素,我最终选了GTX 1080 Ti,跟Titan X相比,性能差不了多少,但价格便宜不少。

安装软件

提示:如果你想装Windows系统,最好先安装Windows,再装Linux。要不然Windows会搞乱启动分区。

安装Ubuntu

大部分深度学习框架都工作在Linux环境中,所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装,如何制作?

https://www.ubuntu.com/download/desktop/create-a-usb-stick-on-macos

https://rufus.akeo.ie/

我写这个教程的时候,Ubuntu 17.04版本刚刚发布,但是我选择了之前的16.04版本,因为老版本的相关文档可能更全一点。另外,我选择的是Ubuntu桌面版本,不过关闭了图形界面X,电脑启动会进入终端模式。

如果需要图形界面,只需要输入:startx

及时更新

更新可以使用下面这个命令

深度学习硬件方案 一万元搭建深度学习系统(2)

深度学习堆栈

为了展开深度学习,我们需要如下软件来使用GPU:

安装GPU驱动

最新的驱动,可以参考官网

http://nvidia.com/Download/index.aspx

或者直接使用如下代码安装:

深度学习硬件方案 一万元搭建深度学习系统(3)

安装CUDA

可以从Nvidia下载CUDA,地址如下:

https://developer.nvidia.com/cuda-downloads

或者直接运行如下的代码:

深度学习硬件方案 一万元搭建深度学习系统(4)

安装好CUDA之后,下面的代码能把CUDA添加到PATH变量:

现在可以检验一下CUDA装好没有,运行如下代码即可:

深度学习硬件方案 一万元搭建深度学习系统(5)

删除CUDA或GPU驱动,可以参考如下代码:

深度学习硬件方案 一万元搭建深度学习系统(6)

安装CuDNN

我用的是CuDNN 5.1,因为最新的TensorFlow不支持CuDNN 6。下载CuDNN,你需要创建一个免费的开发者账号。下载之后,用如下命令安装。

深度学习硬件方案 一万元搭建深度学习系统(7)

Anaconda

Anaconda是一个很棒的Python软件包管理器,我现在使用了Python 3.6版本,所以对应的使用Anaconda 3版本,安装如下:

深度学习硬件方案 一万元搭建深度学习系统(8)

TensorFlow

最流行的深度学习框架,安装:

深度学习硬件方案 一万元搭建深度学习系统(9)

为了检查一下TensorFlow安装好没有,可以运行MNIST看看:

深度学习硬件方案 一万元搭建深度学习系统(10)

应该能在训练过程中,看到loss的逐渐减少:

深度学习硬件方案 一万元搭建深度学习系统(11)

Keras

一个高级神经网络框架,安装非常简单:

深度学习硬件方案 一万元搭建深度学习系统(12)

PyTorch

深度学习框架届的新兵,但也值得推荐,安装命令:

深度学习硬件方案 一万元搭建深度学习系统(13)

Jupyter notebook

Jupyter是一个交互式的笔记本,随着Anaconda安装,我们要配置和测试一下:

深度学习硬件方案 一万元搭建深度学习系统(14)

现在打开 http://localhost:8888 ,应该就能看到Jupyter的界面。

我们可以把Jupyter设置成自动启动,使用crontab来设置。运行crontab -e,然后把如下代码添加在最后。

深度学习硬件方案 一万元搭建深度学习系统(15)

测试

现在基本上准备妥当了,是时候测试一下了。参加此次对比的几个选手是:

MNIST多层感知器

MNIST数据集由70000手写数字组成。我们在这个数据集上运行了一个使用多层感知器(MLP)的Keras案例,代码地址:

https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py

MLP的意思是只使用全连接的层,而不用卷积。这个模型在这个数据集上进行了20次训练,实现了超过98%的准确率。

深度学习硬件方案 一万元搭建深度学习系统(16)

可以看到在训练这个模型时,GTX 1080 Ti比AWS P2 K80快2.4倍,这有点惊人,因为两个显卡的性能应该差不多,我觉得可能是AWS上有降频或者受到虚拟化的影响。

CPU的表现比GPU慢9倍。有趣的是,i5 7500比亚马逊的虚拟CPU快2.3倍。

VGG微调

为Kaggle猫狗识别竞赛而微调一个VGG网络。使用相同的batch在CPU上运行这个模型不可行,所以我们在GPU上微调了390个batch,在CPU上是10个batch。代码如下:

https://github.com/slavivanov/cats_dogs_kaggle

深度学习硬件方案 一万元搭建深度学习系统(17)

这次1080 Ti比AWS P2 K80快5.5倍。CPU在这个环节的表现,最多慢了200倍。

Wasserstein GAN

生成对抗网络(GAN)用来训练模型产生图像。Wasserstein GAN是原始GAN的一个改进版。我这里用了一个PyTorch实现,代码地址:

https://github.com/martinarjovsky/WassersteinGAN

这个模型需要50步训练,CPU在这个训练中不予考虑。

深度学习硬件方案 一万元搭建深度学习系统(18)

GTX 1080 Ti比AWS P2 K80快5.5倍。

风格迁移

最后一个测试是在TensorFlow上的风格迁移实现,代码地址:

https://github.com/slavivanov/Style-Tranfer

深度学习硬件方案 一万元搭建深度学习系统(19)

GTX 1080 Ti比AWS P2 K80快4.3倍。CPU比GPU慢30-50倍。

好啦,关于万元打造一个深度学习系统的分享,就先到这里。

各位端午节快乐。

【完】

招聘

我们正在招募编辑记者、运营等岗位,工作地点在北京中关村,期待你的到来,一起体验人工智能的风起云涌。

相关细节,请在公众号对话界面,回复:“招聘”两个字。

One More Thing…

今天AI界还有哪些事值得关注?在量子位(QbitAI)公众号会话界面回复“今天”,看我们全网搜罗的AI行业和研究动态。笔芯~

,