TensorFlow（二）制作自己的TFRecord数据集 读取、显示及代码详解：在跑通了官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法

1 Feeding： 在tensorflow程序运行的每一步， 用python代码在线提供数据
2 Reader ： 在一个计算图（tf.graph）的开始前，将文件读入到流（queue）中
3 在声明tf.variable变量或numpy数组时保存数据。受限于内存大小，适用于数据较小的情况

在本文，主要介绍第二种方法，利用tf.record标准接口来读入文件

准备图片数据

笔者找了2类狗的图片， 哈士奇和吉娃娃， 全部 resize成128 * 128大小
如下图， 保存地址为D:\Python\data\dog

每类中有10张图片

现在利用这2 类 20张图片制作TFRecord文件

制作TFRECORD文件

1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储 等等..

这里注意，tfrecord会根据你选择输入文件的类，自动给每一类打上同样的标签
如在本例中，只有0,1 两类

2 先上“制作TFRecord文件”的代码，注释附详解

运行完这段代码后，会生成dog_train.tfrecords 文件，如下图

tf.train.Example 协议内存块包含了Features字段，通过feature将图片的二进制数据和label进行统一封装， 然后将example协议内存块转化为字符串， tf.python_io.TFRecordWriter 写入到TFRecords文件中。

读取TFRECORD文件

在制作完tfrecord文件后， 将该文件读入到数据流中。
代码如下

注意，feature的属性“label”和“img_raw”名称要和制作时统一 ，返回的img数据和label数据一一对应。返回的img和label是2个 tf 张量，print出来 如下图

显示tfrecord格式的图片

有些时候我们希望检查分类是否有误，或者在之后的网络训练过程中可以监视，输出图片，来观察分类等操作的结果，那么我们就可以session回话中，将tfrecord的图片从流中读取出来，再保存。 紧跟着一开始的代码写：

代码运行完后， 从tfrecord中取出的文件被保存了。如下图：

在这里我们可以看到，图片文件名的第一个数字表示在流中的顺序（这里没有用shuffle）， 第二个数字则是 每个图片的label，吉娃娃都为0，哈士奇都为1。 由此可见，我们一开始制作tfrecord文件时，图片分类正确。

转者补充：

关于Example Feature的相关定义和详细内容，我推荐去官网查看相关API。

基本的，一个Example中包含Features，Features里包含Feature（这里没s）的字典。最后，Feature里包含有一个 FloatList， 或者ByteList，或者Int64List

就这样，我们把相关的信息都存到了一个文件中，所以前面才说不用单独的label文件。而且读取也很方便。

for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):
    example = tf.train.Example()
    example.ParseFromString(serialized_example)

    image = example.features.feature['image'].bytes_list.value
    label = example.features.feature['label'].int64_list.value
    # 可以做一些预处理之类的
    print image, label

使用队列读取

一旦生成了TFRecords文件，接下来就可以使用队列（queue）读取数据了。

def read_and_decode(filename):
    #根据文件名生成一个队列
    filename_queue = tf.train.string_input_producer([filename])

    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)   #返回文件名和文件
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([], tf.int64),
                                           'img_raw' : tf.FixedLenFeature([], tf.string),
                                       })

    img = tf.decode_raw(features['img_raw'], tf.uint8)
    img = tf.reshape(img, [224, 224, 3])
    img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
    label = tf.cast(features['label'], tf.int32)

    return img, label

之后我们可以在训练的时候这样使用

img, label = read_and_decode("train.tfrecords")

#使用shuffle_batch可以随机打乱输入
img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                batch_size=30, capacity=2000,
                                                min_after_dequeue=1000)
init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    threads = tf.train.start_queue_runners(sess=sess)
    for i in range(3):
        val, l= sess.run([img_batch, label_batch])
        #我们也可以根据需要对val， l进行处理
        #l = to_categorical(l, 12) 
        print(val.shape, l)

至此，tensorflow高效从文件读取数据差不多完结了。

恩？等等…什么叫差不多？对了，还有几个注意事项：

第一，tensorflow里的graph能够记住状态（state），这使得TFRecordReader能够记住tfrecord的位置，并且始终能返回下一个。而这就要求我们在使用之前，必须初始化整个graph，这里我们使用了函数tf.initialize_all_variables()来进行初始化。

第二，tensorflow中的队列和普通的队列差不多，不过它里面的operation和tensor都是符号型的（symbolic），在调用sess.run()时才执行。

第三， TFRecordReader会一直弹出队列中文件的名字，直到队列为空。

总结

1. 生成tfrecord文件
2. 定义record reader解析tfrecord文件
3. 构造一个批生成器（batcher）
4. 构建其他的操作
5. 初始化所有的操作
6. 启动QueueRunner