学习目标
- 知道YoloV3模型结构及构建方法
- 知道数据处理方法
- 能够利用yoloV3模型进行训练和预测
1.数据获取
一部分是网络数据，可以是开源数据，也可以通过百度、Google图片爬虫得到
在接下来的课程中我们就使用标注好的数据进行模型训练，模型预测。使用的工程如下所示：
主要内容是：
1.config中是网络的配置信息：anchors,类别信息
2.core中是损失函数计算，网络预测的内容
3.dateset中是对数据的处理
4.model是对模型的构建
5.utils是一些辅助文件，包括anchor,类别信息的获取等
6.weights中保存了一个使用coco数据集训练的预训练模型
2.TFrecord文件
- TFRecord是Google官方推荐使用的数据格式化存储工具，为TensorFlow量身打造的。
- TFRecord规范了数据的读写方式，数据读取和处理的效率都会得到显著的提高。
首先导入工具包
from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord
import os
将数据写入tfrecord中的流程是：
- 指定要写入的数据集路径
- 获取所有的XML标注文件
- 指定tfrecord的存储位置
- 获取图像的路径
- 将数据写入到tfrecord文件中
# 指定要写入的数据集路径 data_path = '/Users/dataset/VOCdevkit/VOC2007' all_xml = load_labels(data_path, 'train') tfrecord_path = 'voc_train.tfrecords' voc_img_path = os.path.join(data_path, 'JPEGImages') # 将数据写入 write_to_tfrecord(all_xml, tfrecord_path, voc_img_path)2.3 读取TFRecord文件
导入工具包：
# 读取tfrecords文件所需的工具包 from dataset.get_tfdata import getdata import matplotlib.pyplot as plt from matplotlib.patches import Rectangle datasets = getdata("dataset/voc_val.tfrecords")
from matplotlib.patches import Rectangle
from utils.config_utils import read_class_names
classes = read_class_names("config/classname")
plt.figure(figsize=(15, 10))
i = 0
# 从datasets中选取3个样本，获取图像，大小，框的标注信息和类别信息
for image, width, height, boxes, boxes_category in datasets.take(3):
plt.subplot(1, 3, i+1)
plt.imshow(image)
ax = plt.gca()
for j in range(boxes.shape[0]):
# 绘制框
rect = Rectangle((boxes[j, 0], boxes[j, 1]), boxes[j, 2] -boxes[j, 0], boxes[j, 3]-boxes[j, 1], color='r', fill=False)
# 将框显示在图像上
ax.add_patch(rect)
label_id = boxes_category[j]
# 获取标准信息
label = classes.get(label_id.numpy())
ax.text(boxes[j, 0], boxes[j, 1] + 8, label,color='w', size=11, backgroundcolor="none")
# 下一个结果
i += 1
# 显示图像
plt.show()3. 数据处理
# 输入：原图像及图像上的标准框 # 输出：将尺度调整后的图像，及相应的目标框 image,bbox = preprocess(oriimage,oribbox,input_shape=(416,416))
对读取的数据进行处理并绘制结果
from dataset.preprocess import preprocess as ppro
plt.figure(figsize=(15,10))
i = 0
for image,width,height,boxes,boxes_category in datasets.take(3):
image,boxes = preprocess(image,boxes)
plt.subplot(1,3,i+1)
plt.imshow(image[0])
ax = plt.gca()
for j in range(boxes.shape[0]):
rect = Rectangle((boxes[j, 0], boxes[j, 1]), boxes[j, 2] -boxes[j, 0], boxes[j, 3]-boxes[j, 1], color='r', fill=False)
ax.add_patch(rect)
label_id = boxes_category[j]
label = classes.get(label_id.numpy())
ax.text(boxes[j, 0], boxes[j, 1] + 8, label,color='w', size=11, backgroundcolor="none")
i+=1
plt.show()4.模型构建
# 导入工具包 from model.yoloV3 import YOLOv3
# 模型实例化：指定输入图像的大小，和类别数
yolov3 = YOLOv3((416,416,3),80)
# 获取模型架构
yolov3.summary()
5.模型训练
在计算损失函数时使用core.loss来完成：
# 导入所需的工具包 from core.loss import Loss
# 实例化 yolov3_loss = Loss((416,416,3),80)
# 损失输入 yolov3_loss.inputs
# 损失输出 yolov3_loss.outputs
6.正负样本的设定
- 正样本：首先计算目标中心点落在哪个grid上，然后计算这个grid对应的3个先验框（anchor）和目标真实位置的IOU值，取IOU值最大的先验框和目标匹配。那么该anchor 就负责预测这个目标，那这个anchor就作为正样本，将其置信度设为1，其他的目标值根据标注信息设置。
- 负样本：所有不是正样本的anchor都是负样本，将其置信度设为0，参与损失计算，其它的值不参与损失计算，默认为0。
将目标值绘制在图像上
import matplotlib.pyplot as plt
from matplotlib.patches import Rectangle
# 1.获取类别信息
from utils.config_utils import read_class_names
classes = read_class_names('config/classname')
plt.figure(figsize=(15,10))
for image,width,height,boxes,boxes_category in datasets.take(1):
# 4.显示图像：plt.imshow()
plt.imshow(image)
# 5.显示box,遍历所有的bbox,rectange进行绘制
ax = plt.gca()
for j in range(boxes.shape[0]):
rect = Rectangle((boxes[j, 0], boxes[j, 1]), boxes[j, 2] -boxes[j, 0], boxes[j, 3]-boxes[j, 1], color='r', fill=False)
ax.add_patch(rect)
# 6.显示类别
label_id = boxes_category[j]
label = classes.get(label_id.numpy())
ax.text(boxes[j, 0], boxes[j, 1] + 8, label,color='w', size=11, backgroundcolor="none")
# 7.绘制正样本的anchor的目标值
anchor = label1[12, 12,0,0:4].numpy()
rect2 = Rectangle((anchor[0]-anchor[2]/2, anchor[1]-anchor[3]/2), anchor[2], anchor[3],color='g', fill=False)
ax.add_patch(rect2)
plt.show()7. 模型训练
1、加载数据集：我们在这里使用VOC数据集，所以需要从TFrecord文件中加载VOC数据集
2、模型实例化：加载yoloV3模型和损失函数的实现
3、模型训练：计算损失函数，使用反向传播算法对模型进行训练
# 导入 from dataset.preprocess import dataset
# 设置batch_size batch_size=1
# 获取训练集数据，并指定batchsize,返回训练集数据
trainset = dataset("dataset/voc_train.tfrecords",batch_size)
在yoloV3模型和损失函数的计算进行实例化
# V3模型的实例化，指定输入图像的大小，即目标检测的类别个数
yolov3 = YOLOv3((416, 416, 3,), 20)
yolov3_loss = Loss((416,416,3), 20)8.模型训练
模型训练也就是要使用损失函数，进行反向传播，利用优化器进行参数更新，训练的流程是：
1、指定优化器：在这里我们使用加动量的SGD方法
2、设置epoch，进行遍历获取batch数据送入网络中进行预测
3、计算损失函数，使用反向传播更新参数，我们使用tf.GradientTape实现：
# 1、定义优化方法
optimizer = tf.keras.optimizers.SGD(0.1,0.9)
for epoch in range(300):
loss_history = []
# 遍历每一个batch的图像和目标值，进行更新
for (batch, inputs) in enumerate(trainset):
images, labels = inputs
# 3.计算损失函数，使用反向传播更新参数
# 3.1 定义上下文环境
with tf.GradientTape() as tape:
outputs = yolov3(images)
loss = yolov3_loss([*outputs, *labels])
grads = tape.gradient(loss, yolov3.trainable_variables)
optimizer.apply_gradients(zip(grads, yolov3.trainable_variables))
info = 'epoch: %d, batch: %d ,loss: %f'%(epoch, batch, np.mean(loss_history))
print(info)
loss_history.append(loss.numpy())
yolov3.save('yolov3.h5')版权声明：本文为CSDN博主「AI-创造美好未来」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_53226226/article/details/122690814
暂无评论