使用自己设计的网络训练自己的图像识别模型

# coding: utf-8

import os  

#定义Caffe根目录
caffe_root = 'F:/deep_learning/Caffe/caffe-windows/'

#制作训练标签数据
i = 0 #标签
with open(caffe_root + 'models/my_models_recognition/labels/train.txt','w') as train_txt: 
    for root,dirs,files in os.walk(caffe_root+'models/my_models_recognition/data/train/'): #遍历文件夹
        for dir in dirs:            #animal
            for root,dirs,files in os.walk(caffe_root+'models/my_models_recognition/data/train/'+str(dir)): #遍历每一个文件夹中的文件 
                for file in files:    #cat1.jpg
                    image_file = str(dir) + '\\' + str(file)        #animal\cat1.jpg
                    label = image_file + ' ' + str(i) + '\n'       #文件路径+空格+标签编号+换行 
                    train_txt.writelines(label)                       #写入标签文件中
                i+=1 #编号加1

#制作测试标签数据
i=0 #标签
with open(caffe_root + 'models/my_models_recognition/labels/test.txt','w') as test_txt:
    for root,dirs,files in os.walk(caffe_root+'models/my_models_recognition/data/test/'): #遍历文件夹
        for dir in dirs:
            for root,dirs,files in os.walk(caffe_root+'models/my_models_recognition/data/test/'+str(dir)): #遍历每一个文件夹中的文件
                for file in files:
                    image_file = str(dir) + '\\' + str(file)
                    label = image_file + ' ' + str(i) + '\n'       #文件路径+空格+标签编号+换行 
                    test_txt.writelines(label)                   #写入标签文件中
                i+=1#编号加1
                
print "成功生成文件列表" 

%格式转换的可执行文件%
%重新设定图片的大小%
%打乱图片%
%转换格式%
%图片路径%
%图片标签%
%转换后的数据存放在此目录%

F:\deep_learning\Caffe\caffe-windows\Build\x64\Release\convert_imageset.exe ^
--resize_height=256 --resize_width=256 ^
--shuffle ^
--backend="lmdb" ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\data\train\ ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\labels\train.txt ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\lmdb\train\
pause

%格式转换的可执行文件%
%重新设定图片的大小%
%打乱图片%
%转换格式%
%图片路径%
%图片标签%
%转换后的数据存放在此目录%

F:\deep_learning\Caffe\caffe-windows\Build\x64\Release\convert_imageset.exe ^
--resize_height=256 --resize_width=256 ^
--shuffle ^
--backend="lmdb" ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\data\test\ ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\labels\test.txt ^
F:\deep_learning\Caffe\caffe-windows\models\my_models_recognition\lmdb\test\
pause

net: "F:/deep_learning/Caffe/caffe-windows/models/my_models_recognition/train_val.prototxt"
test_iter: 30                                                    //共1500个测试数据，每个批次50张图片。所以1500/50=30
test_interval: 200                                           //训练200次测试一次。
base_lr: 0.1                                                    //学习率
lr_policy: "step"
gamma: 0.1
stepsize: 1000                                                //每1000步减少一点学习率
display: 50                                                      //每50次显示一次
max_iter: 2000                                                //迭代多少次
momentum: 0.9
weight_decay: 0.0005
snapshot: 1000
snapshot_prefix: "F:/deep_learning/Caffe/caffe-windows/models/my_models_recognition/model"
solver_mode: CPU

type: "AdaDelta"
delta: le-6

%train训练数据% 
%超参数文件%

F:\deep_learning\Caffe\caffe-windows\Build\x64\Release\caffe.exe train ^
-solver=F:/deep_learning/Caffe/caffe-windows/models/my_models_recognition/solver.prototxt
pause

# coding: utf-8

import caffe
import numpy as np
import matplotlib.pyplot as plt
import os
import PIL
from PIL import Image
import sys

#定义Caffe根目录
caffe_root = 'F:/deep_learning/Caffe/caffe-windows/'

#网络结构描述文件
deploy_file = caffe_root+'models/my_models_recognition/deploy.prototxt'

#训练好的模型
model_file = caffe_root+'models/my_models_recognition/model/caffenet_train_iter_5000.caffemodel'

#gpu模式
#caffe.set_device(0)        #有多个GPU的时候，可以设定使用哪个。不设的话就是第0个。
caffe.set_mode_gpu()        #如果用CPU的话：caffe.set_mode_cpu()。什么也不写默认是GPU环境。

#定义网络模型
net = caffe.Classifier(deploy_file,           #调用deploy文件
                       model_file,                       #调用模型文件
                       channel_swap=(2,1,0),  #caffe中图片是BGR格式，而原始格式是RGB，所以要转化
                       raw_scale=255,         #python中将图片存储为[0, 1]，而caffe中将图片存储为[0, 255]，所以需要一个转换
                       image_dims=(227, 227)) #输入模型的图片要是227*227的图片

#分类标签文件
imagenet_labels_filename = caffe_root +'models/my_models_recognition/labels/label.txt'

#载入分类标签文件
labels = np.loadtxt(imagenet_labels_filename, str)

#对目标路径中的图像，遍历并分类
for root,dirs,files in os.walk(caffe_root+'models/my_models_recognition/image/'):
    for file in files:
        #加载要分类的图片
        image_file = os.path.join(root,file)
        input_image = caffe.io.load_image(image_file)

        #打印图片路径及名称
        image_path = os.path.join(root,file)
        print(image_path)
        
        #显示图片
        img=Image.open(image_path)
        plt.imshow(img)
        plt.axis('off')
        plt.show()
        
        #预测图片类别
        prediction = net.predict([input_image])
        print 'predicted class:',prediction[0].argmax()

        # 输出概率最大的前5个预测结果
        top_k = prediction[0].argsort()[::-1]
        for node_id in top_k:     
            #获取分类名称
            human_string = labels[node_id]
            #获取该分类的置信度
            score = prediction[0][node_id]
            print('%s (score = %.5f)' % (human_string, score))

# -*- coding: utf-8 -*-

import os
import caffe 
import numpy as np 

#定义Caffe根目录
caffe_root = 'F:/deep_learning/Caffe/caffe-windows/'
#deploy文件
deploy_file = caffe_root+'models/my_models_pubu/deploy.prototxt'
#训练好的模型
model_file = 'E:/data2/model/my_iter_40.caffemodel'

#gpu模式
#caffe.set_device(0)        #有多个GPU的时候，可以设定使用哪个。不设的话就是第0个。
caffe.set_mode_cpu()        #如果用CPU的话：caffe.set_mode_cpu()

net = caffe.Net(deploy_file,
                model_file,
                caffe.TEST)   #use test mode(e.g. don't perform dropout)

#求均值.如果训练的时候进行了减均值的操作，测试的时候也要进行该操作。如果训练时没有减均值，这两句就不用写了。
mu = np.load('E:/data/mean_file/mean.npy')    #导入.npy格式的均值文件。需要把mean.binaryproto转成mean.npy
mu = mu.mean(1).mean(1)     # average over pixels to obtain the mean (BGR) pixel values 
# print u'各个颜色通道的均值:', zip('BGR', mu)    #可以打出来看看

#对输入的图片进行预处理操作。训练的时候做了预处理，测试的时候要做相同的预处理。
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})  #只对data层做预处理的操作。
transformer.set_transpose('data', (2,0,1))     #将高*宽*通道，转换为通道*高*宽的格式。
#transformer.set_mean('data',mu)    # np.load(mean_file).mean(1).mean(1)) #减去均值，前面训练模型时没有减均值，这儿就不用
transformer.set_raw_scale('data', 255)    # 从[0, 1]缩放到[0,255]之间。python中将图片存储为[0,1],而caffe中将图片存储为[0, 255]，所以需要一个转换
transformer.set_channel_swap('data', (2,1,0))   #交换通道，将图片由RGB变为BGR。

net.blobs['data'].reshape(1,            #将输入图片格式转化为合适格式（与deploy文件相同）。batch_size
                                        3,            #3通道。
                                        115,1206)     #第三个参数：图片高度 第四个参数：图片宽度。不要搞反了。

image=caffe.io.load_image('E:/data/image/wurenji4.bmp')   #加载图片 

transformer_image = transformer.preprocess('data',image)  #对图片执行上面的预处理操作，得到预处理后的图像。
net.blobs['data'].data[...] =transformer_image  #blobs的数据层中的数据等于预处理后的图片
#到目前为止，deploy的数据层就有东西了。现在就开始跑网络了。

output = net.forward()    #用网络前向传播跑一次。得到output。output中包含所有层，每一层的结果。
output_prob = output['prob'][0]  #得到'prob'层的每一个类别的概率值。0代表batch中的第一张图片。
print 'predictd class is:',output_prob.argmax()  #对所有的概率求最大值。

labels = np.loadtxt('E:/data/labels/labels.txt', str, delimiter='\t')   #读取类别名称文件
print 'label is:',labels[output_prob.argmax()]

# sort top five predictions from softmax output
top_inds = output_prob.argsort()[::-1][:5]  # reverse sort and take five largest items

print 'probabilities and labels:',zip(output_prob[top_inds], labels[top_inds])