对比复现34个预训练模型，PyTorch和Keras你选谁？

现在如果我们从预训练模型的角度看，那么相同的模型在不同的框架上，验证集准确度又是什么样的?在这个项目中，作者用两个框架一共复现了 34 个预训练模型，并给出了所有预训练模型的验证准确率。所以该项目不仅能作为对比依据，同时还能作为学习资源，又有什么比直接学习经典模型代码更好的方法呢?

1. 预训练模型不是已经可以复现了吗?

在 PyTorch 中是这样的。然而有些 Keras 用户却觉得复现非常难，他们遇见的问题可以分为三类：

• 不能复现 Keras 已发布的基准结果，即使完全复制示例代码也没有用。实际上，他们报告的准确率(截止到 2019 年 2 月)通常略高于实际准确率。
• 一些预训练的 Keras 模型在部署到某个服务器或与其他 Keras 模型一起依次运行时会产生不一致或较低的准确率。
• 使用批归一化(BN)的 Keras 模型可能并不可靠。对于一些模型，前向传播评估仍然会导致推理阶段中的权重改变。

这些问题都是现实存在的，原 GitHub 项目为每个问题都提供了链接。项目作者的目标之一是通过为 Keras 预训练模型创建可复现基准，从而帮助解决上述的一些问题。解决方法可分为以下三个方面，在 Keras 中要做到：推理期间避免分批(batches)。

每次运行一个样本，这样做非常慢，但可以为每个模型得出一个可复现的输出。

只在本地函数或 with 语句中运行模型，以确保在加载下一个模型时，前一个模型的任何东西都不会保存在内存中。

2. 预训练模型复现结果

以下是 Keras 和 PyTorch 的「实际」验证集准确度表(已经在 macOS 10.11.6、Linux Debian 9 和 Ubuntu 18.04 上得到验证)。

3. 复现方法

首先需要下载 ImageNet 2012 验证集，该数据集包含 50000 张图片。在 ILSVRC2012_img_val.tar 下载完成后，运行以下命令行预处理/提取验证集：

# Credit to Soumith: https://github.com/soumith/imagenet-multiGPU.torch 
$ cd ../ && mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar 
$ wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash 

ImageNet 验证集中每个示例的 top 5 预测已经进行了预计，运行以下命令行将直接使用这些预计算结果，并在几秒内复现 Keras 和 PyTorch 基准。

$ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
$ cd benchmarking-keras-pytorch 
$ python imagenet_benchmarking.py /path/to/imagenet_val_data 

不使用预计算数据也可以复现每个 Keras 和 PyTorch 的推理输出。Keras 的推理要花很长时间(5-10 小时)，因为每次只计算一个示例的前向传播，还要避免向量计算。如果要可靠地复现同样的准确率，这是目前发现的唯一的方法。PyTorch 的推理非常快(一个小时都不到)。复现代码如下：

$ git clone https://github.com:cgnorthcutt/imagenet-benchmarking.git 
$ cd benchmarking-keras-pytorch 
$ # Compute outputs of PyTorch models (1 hour) 
$ ./imagenet_pytorch_get_predictions.py /path/to/imagenet_val_data 
$ # Compute outputs of Keras models (5-10 hours) 
$ ./imagenet_keras_get_predictions.py /path/to/imagenet_val_data 
$ # View benchmark results 
$ ./imagenet_benchmarking.py /path/to/imagenet_val_data 

你可以控制 GPU 的使用、批大小、输出存储目录等。运行时加上-h flag，可以查看命令行参数选项。

看完文章之后，你更中意谁呢?

原文链接：http://l7.curtisnorthcutt.com/towards-reproducibility-benchmarking-keras-pytorch

【本文是51CTO专栏机构“机器之心”的原创译文，微信公众号“机器之心( id: almosthuman2014)”】

戳这里，看该作者更多好文

（编辑：PHP编程网 - 金华站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!