OpenCV 4.11.0
开源计算机视觉库
加载中…
搜索中…
未找到匹配项
加载Caffe框架模型

目录

下一个教程： 如何启用Halide后端以提高效率

原作者Vitaliy Lyudvichenko
兼容性OpenCV >= 3.3

引言

本教程将教您如何使用opencv_dnn模块，通过使用来自Caffe模型库的GoogLeNet训练网络进行图像分类。

我们将在此图片上演示此例子的结果。

源代码

我们将使用示例应用程序中的代码片段，您可以在此处下载。

#include <fstream>
#include <sstream>
#include <iostream>
#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include "common.hpp"
std::string keys =
"{ help h | | 打印帮助信息。 }"
"{ @alias | | 用于从models.yml文件中提取预处理参数的模型别名。 }"
"{ zoo | models.yml | 包含预处理参数文件的可选路径 }"
"{ input i | | 输入图像或视频文件的路径。跳过此参数即可从摄像头捕获帧。}"
"{ initial_width | 0 | 通过初始调整大小到特定宽度来预处理输入图像。}"
"{ initial_height | 0 | 通过初始调整大小到特定高度来预处理输入图像。}"
"{ std | 0.0 0.0 0.0 | 通过除以标准差来预处理输入图像。}"
"{ crop | false | 通过中心裁剪来预处理输入图像。}"
"{ framework f | | 模型的原始框架的可选名称。如果未设置，则自动检测。 }"
"{ needSoftmax | false | 使用Softmax对网络的输出进行后处理。}"
"{ classes | | 包含类名称的文本文件的可选路径。 }"
"{ backend | 0 | 选择一种计算后端："
"0：自动（默认），"
"1：Halide语言 (http://halide-lang.org/)，"
"2：英特尔的深度学习推理引擎 (https://software.intel.com/openvino-toolkit)，"
"3：OpenCV实现，"
"4：VKCOM，"
"5：CUDA，"
"6：WebNN }"
"{ target | 0 | 选择一个目标计算设备："
"0：CPU目标（默认），"
"1：OpenCL，"
"2：OpenCL fp16（半精度浮点），"
"3：VPU，"
"4：Vulkan，"
"6：CUDA，"
"7：CUDA fp16（半精度浮点预处理） }";
using namespace cv;
using namespace dnn;
std::vector<std::string> classes;
int main(int argc, char** argv)
{
CommandLineParser parser(argc, argv, keys);
const std::string modelName = parser.get<String>("@alias");
const std::string zooFile = parser.get<String>("zoo");
keys += genPreprocArguments(modelName, zooFile);
parser = CommandLineParser(argc, argv, keys);
parser.about("使用此脚本使用OpenCV运行分类深度学习网络。");
if (argc == 1 || parser.has("help"))
{
parser.printMessage();
return 0; 0;
}
int rszWidth = parser.get<int>("initial_width");
int rszHeight = parser.get<int>("initial_height");
float scale = parser.get<float>("scale");
Scalar mean = parser.get<Scalar>("mean");
Scalar std = parser.get<Scalar>("std");
bool swapRB = parser.get<bool>("rgb");
bool crop = parser.get<bool>("crop");
int inpWidth = parser.get<int>("width");
int inpHeight = parser.get<int>("height");
String model = findFile(parser.get<String>("model"));
String config = findFile(parser.get<String>("config"));
String framework = parser.get<String>("framework");
int backendId = parser.get<int>("backend");
int targetId = parser.get<int>("target");
bool needSoftmax = parser.get<bool>("needSoftmax");
std::cout<<"均值："<<mean<<std::endl;
std::cout<<"标准差："<<std<<std::endl;
// 打开包含类名称的文件。
if (parser.has("classes"))
{
std::string file = parser.get<String>("classes");
std::ifstream ifs(file.c_str());
if (!ifs.is_open())
CV_Error(Error::StsError, "文件 " + file + " 未找到");
std::string line;
while (std::getline(ifs, line))
{
classes.push_back(line);
}
}
如果 (!parser.check())
{
parser.printErrors();
return 0; 1;
}
CV_Assert(!model.empty());
Net net = readNet(model, config, framework);
net.setPreferableBackend(backendId);
net.setPreferableTarget(targetId);
// 创建窗口
static const std::string kWinName = "OpenCV深度学习图像分类";
namedWindow(kWinName, WINDOW_NORMAL);
VideoCapture cap;
如果 (parser.has("input"))
cap.open(parser.get("input"));
否则
cap.open(0);
// 处理帧。
Mat frame, blob;
当 (waitKey(1) < 0)
{
cap >> frame;
如果 (frame.empty())
{
waitKey();
break;
}
如果 (rszWidth != 0 && rszHeight != 0)
{
resize(frame, frame, Size(rszWidth, rszHeight));
}
blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, swapRB, crop);
// 检查标准差值。
如果 (std.val[0] != 0.0 && std.val[1] != 0.0 && std.val[2] != 0.0)
{
// 将blob除以标准差。
divide(blob, std, blob);
}
net.setInput(blob);
// double t_sum = 0.0;
// double t;
int classId;
double confidence;
cv::TickMeter timeRecorder;
timeRecorder.reset();
Mat prob = net.forward();
double t1;
timeRecorder.start();
prob = net.forward();
timeRecorder.stop();
t1 = timeRecorder.getTimeMilli();
timeRecorder.reset();
对于 (int i = 0; i < 200; i++) {
timeRecorder.start();
prob = net.forward();
timeRecorder.stop();
Point classIdPoint;
minMaxLoc(prob.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
classId = classIdPoint.x;
// 显示效率信息。
// std::vector layersTimes;
// double freq = getTickFrequency() / 1000;
// t = net.getPerfProfile(layersTimes) / freq;
// t_sum += t;
}
如果 (needSoftmax == true)
{
float maxProb = 0.0;
float sum = 0.0;
Mat softmaxProb;
maxProb = *std::max_element(prob.begin(), prob.end());
cv::exp(prob - maxProb, softmaxProb);
sum = (float)cv::sum(softmaxProb)[0];
softmaxProb /= sum;
Point classIdPoint;
minMaxLoc(softmaxProb.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
classId = classIdPoint.x;
}
std::string label = format("单轮推理时间: %.2f ms", t1);
std::string label2 = format("200轮平均时间: %.2f ms", timeRecorder.getTimeMilli()/200);
putText(frame, label, Point(0, 15), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
putText(frame, label2, Point(0, 35), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
// 打印预测类别。
label = format("%s: %.4f", (classes.empty() ? format("Class #%d", classId).c_str()
: classes[classId].c_str()),
confidence);
putText(frame, label, Point(0, 55), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0));
imshow(kWinName, frame);
}
return 0; 0;
}
cv::CommandLineParser
用于命令行解析。
**定义:** utility.hpp:890
cv::Mat
n维密集数组类
**定义:** mat.hpp:829
cv::Mat::reshape
Mat reshape(int cn, int rows=0) const
更改二维矩阵的形状和/或通道数，无需复制数据。
cv::Mat::end
MatIterator_< _Tp > end()
返回矩阵迭代器并将其设置为最后一个矩阵元素之后。
cv::Mat::begin
MatIterator_< _Tp > begin()
返回矩阵迭代器并将其设置为第一个矩阵元素。
cv::Point_< int >
cv::Point_::x
_Tp x
点的x坐标
**定义:** types.hpp:201
cv::Scalar_< double >
cv::Size_
用于指定图像或矩形大小的模板类。
**定义:** types.hpp:335
cv::TickMeter
用于测量经过时间的类。
**定义:** utility.hpp:326
cv::TickMeter::start
void start()
开始计数滴答。
**定义:** utility.hpp:335
cv::TickMeter::stop
void stop()
停止计数滴答。
**定义:** utility.hpp:341
cv::TickMeter::reset
void reset()
重置内部值。
**定义:** utility.hpp:430
cv::TickMeter::getTimeMilli
double getTimeMilli() const
返回以毫秒为单位的经过时间。
**定义:** utility.hpp:365
cv::VideoCapture
用于从视频文件、图像序列或摄像机捕获视频的类。
**定义:** videoio.hpp:766
cv::VideoCapture::open
virtual bool open(const String &filename, int apiPreference=CAP_ANY)
打开视频文件、采集设备或IP视频流进行视频采集。
cv::exp
void exp(InputArray src, OutputArray dst)
计算每个数组元素的指数。
cv::divide
void divide(InputArray src1, InputArray src2, OutputArray dst, double scale=1, int dtype=-1)
执行两个数组或标量与数组的逐元素除法。
cv::sum
Scalar sum(InputArray src)
计算数组元素的总和。
cv::minMaxLoc
void minMaxLoc(InputArray src, double *minVal, double *maxVal=0, Point *minLoc=0, Point *maxLoc=0, InputArray mask=noArray())
查找数组中的全局最小值和最大值。
cv::String
std::string String
定义 cvstd.hpp:151
cv::format
String format(const char *fmt,...)
返回使用 printf 风格表达式格式化的文本字符串。
CV_Error
#define CV_Error(code, msg)
调用错误处理程序。
定义 base.hpp:335
CV_Assert
#define CV_Assert(expr)
在运行时检查条件，如果失败则抛出异常。
定义 base.hpp:359
cv::dnn::blobFromImage
Mat blobFromImage(InputArray image, double scalefactor=1.0, const Size &size=Size(), const Scalar &mean=Scalar(), bool swapRB=false, bool crop=false, int ddepth=CV_32F)
从图像创建四维 blob。可以选择从中心调整图像大小和裁剪图像……
cv::dnn::readNet
Net readNet(CV_WRAP_FILE_PATH const String &model, CV_WRAP_FILE_PATH const String &config="", const String &framework="")
读取以其中一种支持的格式表示的深度学习网络。
cv::imshow
void imshow(const String &winname, InputArray mat)
在指定的窗口中显示图像。
cv::waitKey
int waitKey(int delay=0)
等待按下按键。
cv::namedWindow
void namedWindow(const String &winname, int flags=WINDOW_AUTOSIZE)
创建一个窗口。
cv::putText
void putText(InputOutputArray img, const String &text, Point org, int fontFace, double fontScale, Scalar color, int thickness=1, int lineType=LINE_8, bool bottomLeftOrigin=false)
绘制文本字符串。
cv::resize
void resize(InputArray src, OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR)
调整图像大小。
main
int main(int argc, char *argv[])
定义 highgui_qt.cpp:3
cv
定义 core.hpp:107
std
STL 命名空间。

说明

  1. 首先，下载 GoogLeNet 模型文件：bvlc_googlenet.prototxt 和 bvlc_googlenet.caffemodel

    你还需要包含 ILSVRC2012 类别名称的文件：classification_classes_ILSVRC2012.txt。

    将这些文件放入此程序示例的工作目录中。

  2. 使用 .prototxt 和 .caffemodel 文件的路径读取并初始化网络

    Net net = readNet(model, config, framework);
    net.setPreferableBackend(backendId);
    net.setPreferableTarget(targetId);

    如果 model 或 config 文件之一具有 .caffemodel 或 .prototxt 扩展名，则可以跳过参数 framework。通过这种方式，函数 cv::dnn::readNet 可以自动检测模型的格式。

  3. 读取输入图像并将其转换为 GoogleNet 可接受的 blob。

    VideoCapture cap;
    如果 (parser.has("input"))
    cap.open(parser.get("input"));
    否则
    cap.open(0);

    cv::VideoCapture 可以加载图像和视频。

    blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, swapRB, crop);
    // 检查标准差值。
    如果 (std.val[0] != 0.0 && std.val[1] != 0.0 && std.val[2] != 0.0)
    {
    // 将blob除以标准差。
    divide(blob, std, blob);
    }

    在应用必要的预处理（例如调整大小和均值减法 (-104, -117, -123)，分别对应于蓝色、绿色和红色通道）后，我们使用 cv::dnn::blobFromImage 函数将图像转换为形状为 1x3x224x224 的四维 blob（所谓的批次）。

  4. 将 blob 传递到网络
    net.setInput(blob);
  5. 进行前向传播
    // double t_sum = 0.0;
    // double t;
    int classId;
    double confidence;
    cv::TickMeter timeRecorder;
    timeRecorder.reset();
    Mat prob = net.forward();
    double t1;
    timeRecorder.start();
    prob = net.forward();
    timeRecorder.stop();
    t1 = timeRecorder.getTimeMilli();
    timeRecorder.reset();
    对于 (int i = 0; i < 200; i++) {
    在前向传播过程中，会计算每个网络层的输出，但在本例中我们只需要最后一层的输出。
  6. 确定最佳类别
    Point classIdPoint;
    minMaxLoc(prob.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
    classId = classIdPoint.x;
    我们将网络的输出（包含 1000 个 ILSVRC2012 图像类别的概率）放入 prob blob 中，并找到其中最大值元素的索引。此索引对应于图像的类别。
  7. 从命令行运行示例
    ./example_dnn_classification --model=bvlc_googlenet.caffemodel --config=bvlc_googlenet.prototxt --width=224 --height=224 --classes=classification_classes_ILSVRC2012.txt --input=space_shuttle.jpg --mean="104 117 123"
    对于我们的图像，我们得到对“航天飞机”类别的预测，置信度超过 99%。
2025年1月8日星期三16:06:34 为OpenCV生成的 doxygen 1.12.0