TensorFlow 制作自己的TFRecord数据集
TensorFlow(二)制作自己的TFRecord数据集 读取、显示及代码详解:在跑通了官网的mnist和cifar10数据之后,笔者尝试着制作自己的数据集,并保存,读入,显示。 TensorFlow可以支持cifar10的数据格式, 也提供了标准的TFRecord 格式,而关于 tensorflow 读取数据, 官网提供了3中方法
1 Feeding: 在tensorflow程序运行的每一步, 用python代码在线提供数据
2 Reader : 在一个计算图(tf.graph)的开始前,将文件读入到流(queue)中
3 在声明tf.variable变量或numpy数组时保存数据。受限于内存大小,适用于数据较小的情况
在本文,主要介绍第二种方法,利用tf.record标准接口来读入文件
准备图片数据
笔者找了2类狗的图片, 哈士奇和吉娃娃, 全部 resize成128 * 128大小
如下图, 保存地址为D:\Python\data\dog
每类中有10张图片
现在利用这2 类 20张图片制作TFRecord文件
制作TFRECORD文件
1 先聊一下tfrecord, 这是一种将图像数据和标签放在一起的二进制文件,能更好的利用内存,在tensorflow中快速的复制,移动,读取,存储 等等..
这里注意,tfrecord会根据你选择输入文件的类,自动给每一类打上同样的标签
如在本例中,只有0,1 两类
2 先上“制作TFRecord文件”的代码,注释附详解
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
import os
import tensorflow as tf
from PIL import Image #注意Image,后面会用到
import matplotlib.pyplot as plt
import numpy as np
cwd= 'D:\Python\data\dog\\'
classes={ 'husky' , 'chihuahua' } #人为 设定 2 类
writer= tf.python_io.TFRecordWriter( "dog_train.tfrecords" ) #要生成的文件
for index,name in enumerate(classes):
class_path=cwd+name+ '\\'
for img_name in os.listdir(class_path):
img_path=class_path+img_name #每一个图片的地址
img=Image.open(img_path)
img= img.resize(( 128 , 128 ))
img_raw=img.tobytes()#将图片转化为二进制格式
example = tf.train.Example(features=tf.train.Features(feature={
"label" : tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
'img_raw' : tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))
})) #example对象对label和image数据进行封装
writer.write(example.SerializeToString()) #序列化为字符串
writer.close() |
运行完这段代码后,会生成dog_train.tfrecords 文件,如下图
tf.train.Example 协议内存块包含了Features字段,通过feature将图片的二进制数据和label进行统一封装, 然后将example协议内存块转化为字符串, tf.python_io.TFRecordWriter 写入到TFRecords文件中。
读取TFRECORD文件
在制作完tfrecord文件后, 将该文件读入到数据流中。
代码如下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
def read_and_decode(filename): # 读入dog_train.tfrecords filename_queue = tf.train.string_input_producer([filename])#生成一个queue队列
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)#返回文件名和文件
features = tf.parse_single_example(serialized_example,
features={
'label' : tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
})#将image数据和label取出来
img = tf.decode_raw(features[ 'img_raw' ], tf.uint8)
img = tf.reshape(img, [ 128 , 128 , 3 ]) #reshape为 128 * 128 的 3 通道图片
img = tf.cast(img, tf.float32) * ( 1 . / 255 ) - 0.5 #在流中抛出img张量
label = tf.cast(features[ 'label' ], tf.int32) #在流中抛出label张量
return img, label
|
注意,feature的属性“label”和“img_raw”名称要和制作时统一 ,返回的img数据和label数据一一对应。返回的img和label是2个 tf 张量,print出来 如下图
显示tfrecord格式的图片
有些时候我们希望检查分类是否有误,或者在之后的网络训练过程中可以监视,输出图片,来观察分类等操作的结果,那么我们就可以session回话中,将tfrecord的图片从流中读取出来,再保存。 紧跟着一开始的代码写:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
filename_queue = tf.train.string_input_producer([ "dog_train.tfrecords" ]) #读入流中
reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue) #返回文件名和文件 features = tf.parse_single_example(serialized_example, features={
'label' : tf.FixedLenFeature([], tf.int64),
'img_raw' : tf.FixedLenFeature([], tf.string),
}) #取出包含image和label的feature对象
image = tf.decode_raw(features[ 'img_raw' ], tf.uint8)
image = tf.reshape(image, [ 128 , 128 , 3 ])
label = tf.cast(features[ 'label' ], tf.int32)
with tf.Session() as sess: #开始一个会话 init_op = tf.initialize_all_variables()
sess.run(init_op)
coord=tf.train.Coordinator()
threads= tf.train.start_queue_runners(coord=coord)
for i in range( 20 ):
example, l = sess.run([image,label])#在会话中取出image和label
img=Image.fromarray(example, 'RGB' )#这里Image是之前提到的
img.save(cwd+str(i)+ '_' 'Label_' +str(l)+ '.jpg' )#存下图片
print(example, l)
coord.request_stop()
coord.join(threads)
|
代码运行完后, 从tfrecord中取出的文件被保存了。如下图:
在这里我们可以看到,图片文件名的第一个数字表示在流中的顺序(这里没有用shuffle), 第二个数字则是 每个图片的label,吉娃娃都为0,哈士奇都为1。 由此可见,我们一开始制作tfrecord文件时,图片分类正确。
转者补充:
关于Example
Feature
的相关定义和详细内容,我推荐去官网查看相关API。
基本的,一个Example
中包含Features
,Features
里包含Feature
(这里没s)的字典。最后,Feature
里包含有一个 FloatList
, 或者ByteList
,或者Int64List
就这样,我们把相关的信息都存到了一个文件中,所以前面才说不用单独的label文件。而且读取也很方便。
for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"): example = tf.train.Example() example.ParseFromString(serialized_example) image = example.features.feature['image'].bytes_list.value label = example.features.feature['label'].int64_list.value # 可以做一些预处理之类的 print image, label
使用队列读取
一旦生成了TFRecords文件,接下来就可以使用队列(queue
)读取数据了。
def read_and_decode(filename): #根据文件名生成一个队列 filename_queue = tf.train.string_input_producer([filename]) reader = tf.TFRecordReader() _, serialized_example = reader.read(filename_queue) #返回文件名和文件 features = tf.parse_single_example(serialized_example, features={ 'label': tf.FixedLenFeature([], tf.int64), 'img_raw' : tf.FixedLenFeature([], tf.string), }) img = tf.decode_raw(features['img_raw'], tf.uint8) img = tf.reshape(img, [224, 224, 3]) img = tf.cast(img, tf.float32) * (1. / 255) - 0.5 label = tf.cast(features['label'], tf.int32) return img, label
之后我们可以在训练的时候这样使用
img, label = read_and_decode("train.tfrecords") #使用shuffle_batch可以随机打乱输入 img_batch, label_batch = tf.train.shuffle_batch([img, label], batch_size=30, capacity=2000, min_after_dequeue=1000) init = tf.initialize_all_variables() with tf.Session() as sess: sess.run(init) threads = tf.train.start_queue_runners(sess=sess) for i in range(3): val, l= sess.run([img_batch, label_batch]) #我们也可以根据需要对val, l进行处理 #l = to_categorical(l, 12) print(val.shape, l)
至此,tensorflow高效从文件读取数据差不多完结了。
恩?等等…什么叫差不多?对了,还有几个注意事项:
第一,tensorflow里的graph能够记住状态(state
),这使得TFRecordReader
能够记住tfrecord
的位置,并且始终能返回下一个。而这就要求我们在使用之前,必须初始化整个graph,这里我们使用了函数tf.initialize_all_variables()
来进行初始化。
第二,tensorflow中的队列和普通的队列差不多,不过它里面的operation
和tensor
都是符号型的(symbolic
),在调用sess.run()
时才执行。
第三, TFRecordReader
会一直弹出队列中文件的名字,直到队列为空。
总结
- 生成tfrecord文件
- 定义
record reader
解析tfrecord文件 - 构造一个批生成器(
batcher
) - 构建其他的操作
- 初始化所有的操作
- 启动
QueueRunner