深度学习中的数据简介 | PyTorch系列（十）

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达深度学习中的数据简介 | PyTorch系列（十）

文 |AI_study

机器学习在Fashion-MNIST 介绍

欢迎回到这个关于神经网络编程的系列。在这篇文章中，我们将介绍Fashion-MNIST数据集。

我们将查看数据集规范，如何构建数据集，以及数据集与原始的手写数字MNIST数据集有何不同。

深度学习中的数据简介 | PyTorch系列（十）

为什么要研究数据集

我们先来思考一下为什么要花时间研究数据集。数据是深度学习的主要组成部分，尽管我们作为神经网络程序员的任务是让我们的神经网络从我们的数据中学习，但我们仍然有责任了解我们用于实际训练的数据的性质和历史。

计算机程序通常由两部分组成:代码和数据。在传统编程中，程序员的工作是直接编写软件或代码，但在深度学习和神经网络中，软件可以说是网络本身，在训练过程中自动产生的网络权重。

深度学习中的数据简介 | PyTorch系列（十）

通过训练来监督和指导学习过程是程序员的工作。我们可以把它看作是编写软件或代码的一种间接方式。通过使用数据和深度学习，神经网络程序员可以生成能够执行计算的软件，而不需要编写代码来显式地执行这些计算。

由于这个原因，数据在软件开发中的作用正在发生变化，我们可能也会看到软件开发人员的作用也在发生变化。

数据集中注意事项:

谁创建了数据集?
如何创建数据集?
使用了哪些转换?
数据集有什么用途?
可能的意外后果?
数据集是否有偏差?
数据集是否存在伦理问题?

实际上，获取和访问数据通常是深度学习中最困难的部分，所以在研究这个特定的数据集时要记住这一点。注意我们在这里看到的一般概念和思想。

一、MNIST数据集是什么?

MNIST数据集是修改过的国家标准与技术研究所数据库（Modified National Institute of Standards and Technology database），它是一个著名的手写数字数据集，通常用于训练机器学习的图像处理系统。NIST是国家标准与技术协会的缩写。

https://en.wikipedia.org/wiki/MNIST_database

MNIST中的M表示修改过的，这是因为有一个原始的NIST数字数据集被修改为MNIST。

深度学习中的数据简介 | PyTorch系列（十）

MNIST之所以出名，是因为它经常被使用数据集。它的常见有两个原因:

因为它很简单，初学者很容易使用它
研究人员用它来比较不同的模型。

该数据集包含70,000张手写数字图像，并进行如下分割:

60000训练图像
10000测试图像

这些图像最初是由美国人口普查局（American Census Bureau）的雇员和美国高中生创造的。

MNIST得到了如此广泛的应用，图像识别技术也得到了如此大的改进，以至于人们认为数据集过于简单。这就是为什么要创建Fashion-MNIST数据集。

二、Fashion-MNIST是什么?

顾名思义，fashion - mnist是一个时装数据集。具体来说，数据集有以下十类时尚项目:

深度学习中的数据简介 | PyTorch系列（十）

正如我们在前一篇文章中看到的，这些项目的一个示例如下:

深度学习中的数据简介 | PyTorch系列（十）

（1）Fashion-MNIST的起源是什么

Fashion-MNIST的图片从何而来？Fashion-MNIST是基于Zalando网站上的分类。Zalando是一家总部位于德国的跨国时尚商务公司，成立于2008年。

这就是为什么我们可以在GitHub的URL上看到zalandoresearch，那里有Fashion-MNIST的数据集可供下载。

https://github.com/zalandoresearch/fashion-mnist

Zalando Research是创建数据集的公司内部的一个团队。

当我们回顾介绍数据集的论文时，我们将看到更多关于如何收集图像的信息，但是首先，让我们回答另一个隐藏的问题。

What’s MNIST about a fashion dataset?

（2）是什么把MNIST加入Fashion-MNIST的名字中?

fashion MNIST数据集的名称中包含MNIST的原因是，创建者希望将MNIST替换为fashion -MNIST。

由于这个原因，Fashion数据集被设计成尽可能地镜像原始MNIST数据集，同时由于拥有比手写图像更复杂的数据，因此在训练中引入了更高的难度。

我们将在论文中看到Fashion-MNIST对原始数据集的特定镜像，但是我们已经看到的是类的数量。

MNIST -有10个类(每个0-9位对应一个类)
Fashion-MNIST -有10个类(这是故意的)

让我们看看论文

在ArXiv上阅读Fashion-MNIST的论文。

论文可以在这里找到，要查看论文，只需点击PDF链接。

https://arxiv.org/abs/1708.07747

https://arxiv.org/pdf/1708.07747.pdf

关于这篇论文，首先要注意的是作者来自Zalando Research(《Fashion-MNIST的出处》)。

在阅读了该论文的摘要后，我们了解了为什么该数据集被命名为Fashion-MNIST。

（3）Fashion-MNIST论文章的摘要

We present Fashion-MNIST, a new dataset comprising of 28 by 28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct dropin replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at https://github.com/zalandoresearch/fashion-mnist."

arXiv paper：https://arxiv.org/abs/1708.07747

我们展示的fashion - mnist是一个新的数据集，包含了来自10个类别的70000个时尚产品的28 * 28张灰度图像，每个类别有7000张图像。训练集有60000张图片，测试集有10000张图片。Fashion-MNIST旨在作为基准机器学习算法原始MNIST数据集的直接替代品，因为它共享相同的图像大小、数据格式以及训练和测试的结构。数据集可在https://github.com/zalandoresearch/fashion-mnist免费获取。”

该数据集被设计为原始MNIST的完全替代。通过使Fashion-MNIST数据集规格与原始MNIST规格相匹配，可以顺利地实现从旧规范到新规范的转换。该论文声称，切换数据集所需的唯一更改是通过指向Fashion数据集来更改MNIST数据集的获取位置的URL。

这篇论文也让我们更深入地了解为什么MNIST如此受欢迎:

"The reason MNIST is so popular has to do with its size, allowing deep learning researchers to quickly check and prototype their algorithms. This is also complemented by the fact that all machine learning libraries (e.g. scikit-learn) and deep learning frameworks (e.g. Tensorflow, PyTorch) provide helper functions and convenient examples that use MNIST out of the box."

MNIST如此受欢迎的原因与它的大小有关，这使得深度学习的研究人员能够快速检查并原型化他们的算法。此外，所有的机器学习库(如scikit-learn) 和深度学习框架(如Tensorflow、PyTorch)都提供了辅助功能和方便的示例，可以开箱即用地使用MNIST。

PyTorch确实为我们提供了一个名为torchvision的包，让我们可以很容易地开始使用MNIST和Fashion-MNIST。

我们将在下一篇文章中使用torchvision 将我们的训练集加载到我们的项目中。