pytorch如何加载本地的数据集(例如MNIST/CIFAR10)

问题说明

  • 由于pytorch首次加载MNIST或CIFAR10数据集时需要去外网下载,下载速度惊人。那么我们可以自己先把数据集下载下来,然后按照以下步骤直接加载本地数据集就行。

加载步骤

  • 首先自己去下载MNIST或CIFAR数据集,存放到本地的某个文件夹中,如下图所示:
    pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
  • 将数据集所在的文件夹路径复制下来,粘贴到浏览器中,按回车键打开。
    -pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
    在浏览器中打开该路径之后显示如下图:
    pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
  • 然后将cifar.py或mnist.py中的url改成数据集所在的路径:
    当前我的数据集所在的路径是:
    E:\PycharmProjects\Learn\learn_pytorch\dataset
    所以修改如下:
    mnist.py
    pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
    将原始的url路径都给注释掉了,换成了自己本地的路径,由于MNIST数据集有四个压缩包,所以有4个路径,后面的编码不用改,只要修改前面的url就可以了。
    之后在下载数据集的时候,就会从本地去下载,速度很快,前提是浏览器别关了,下载成功之后再关掉。
    cifar.py
    修改的过程跟上面一样,如下所示:
    pytorch如何加载本地的数据集(例如MNIST/CIFAR10)
  • 注意:记得在路径后面添加上数据集压缩包的名字,否则下载的时候依旧会找不到,之前我以为只要数据集所在的文件夹路径就行了,忙活了半天一直出错。