使用神经网络检测色卡

本教程将向您展示如何使用神经网络来提高色卡检测算法的准确性。

构建

构建OpenCV时，运行以下命令以构建所有contrib模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

或者只构建mcc模块：

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/mcc

或者确保在CMake的GUI版本中选中mcc模块：cmake-gui。

示例源码

您可以通过执行以下命令运行示例代码：

<opencv_build_directory>/bin/example_mcc_chart_detection_with_network -t=<色卡类型> -m=<神经网络路径> -pb=<模型pbtxt路径> -v=<可选视频路径，未提供则使用网络摄像头.mp4> --ci=<可选摄像头ID，仅在未提供视频时需要> --nc=<可选图像中色卡最大数量> --use_gpu <可选是否使用GPU>
 
``'
 
* -t=#  色卡类型，0（标准），1（DigitalSG），2（乙烯基）
* --ci=# 摄像头ID，0（默认为主摄像头），1（次摄像头）等
* --nc=# 默认值为1，表示只检测最佳色卡
 
示例

在CPU上简单运行（不使用GPU）：/home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4

在GPU上运行：/home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu

在GPU上运行并检测最佳5个色卡（检测结果可能少于5个，但不会超过5个）：/home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu –nc=5

#include <opencv2/core.hpp>
 
#include <opencv2/highgui.hpp>
#include <opencv2/mcc.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>
 
using namespace std;
using namespace cv;
using namespace mcc;
 
const char *about = "使用神经网络进行基本色卡检测";
const char *keys = {
 "{ help h usage ? | | 显示此消息 }"
 "{t | 0 | chartType: 0-标准, 1-DigitalSG, 2-乙烯基, 默认:0}"
 "{m | | 模型文件路径，如果您没有模型，可以在文档中找到链接}"

 "{pb | | pbtxt 文件路径，与模型文件一起提供}"
 }"
 "{v | | 视频文件输入，如果省略，则输入来自摄像头}"
 "{ci | 0 | 如果输入不是来自视频 (-v)，则为摄像头 ID}"
 "{nc | 1 | 图像中色卡的最大数量}"
 "{use_gpu | | 如果要使用GPU，请添加此标志}"};
 
int main(int argc, char *argv[])
{
    // ----------------------------------------------------------
 // 向下滚动一点 (~50 行) 即可找到实际相关的代码
    // ----------------------------------------------------------
 
 CommandLineParser parser(argc, argv, keys);
 parser.about(about);
 
 if (parser.has("help"))
    {
 parser.printMessage();
 return -1;
    }
 
 int t = parser.get<int>("t");
 
 CV_Assert(0 <= t && t <= 2);
 TYPECHART chartType = TYPECHART(t);
 
 string model_path = parser.get<string>("m");
 string pbtxt_path = parser.get<string>("pb");
 
 int camId = parser.get<int>("ci");
 int nc = parser.get<int>("nc");
 
 String video;
 
 if (parser.has("v"))
 video = parser.get<String>("v");
 
 bool use_gpu = parser.has("use_gpu");
 
 if (!parser.check())
    {
 parser.printErrors();
 return 0;
    }
 
 VideoCapture inputVideo;
 int waitTime;
 if (!video.empty())
    {
 inputVideo.open(video);
 waitTime = 10;
    }
 else
    {
 inputVideo.open(camId);
 waitTime = 10;
    }
 
    //--------------------------------------------------------------------------
 //-------------------------实际相关代码-----------------------------
    //--------------------------------------------------------------------------
 
 //加载网络
 
 cv::dnn::Net net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);
 
 if (use_gpu)
    {
 net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);
 net.setPreferableTarget(dnn::DNN_TARGET_CUDA);
    }
 
 Ptr<CCheckerDetector> detector = CCheckerDetector::create();
 if (!detector->setNet(net))
    {
 cout << "加载模型失败：终止" << endl;
 return 0;
    }
 
 while (inputVideo.grab())
    {
 Mat image, imageCopy;
 inputVideo.retrieve(image);
 
 imageCopy = image.clone();
 
 // 待检测的标记类型
 if (!detector->process(image, chartType, nc, true))
        {
 printf("未检测到色卡\n");
        }
 else
        {
 
 // 获取色卡
 std::vector<Ptr<mcc::CChecker>> checkers = detector->getListColorChecker();
 for (Ptr<mcc::CChecker> checker : checkers)
            {
 // 当前色卡
 
 Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);
 cdraw->draw(image);
            }
        }
 
 imshow("图像结果 | 按q或esc退出", image);
 imshow("原始图像", imageCopy);
 char key = (char)waitKey(waitTime);
 if (key == 27)
 break;
    }
 
 return 0;
}

解释

1. 设置头文件和命名空间

   #include <opencv2/mcc.hpp>
   using namespace std;
   using namespace cv;
   using namespace mcc;

   如果需要，您可以像上面的代码一样设置命名空间。

2. 创建检测器对象

   Ptr<CCheckerDetector> detector = CCheckerDetector::create();

   这只是创建对象。

3. 加载模型

   cv::dnn::Net net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);

   加载模型，这里提供的模型是用TensorFlow训练的，所以我们用TensorFlow加载它，但如果您有在其他框架中训练的其他模型，也可以使用。

4. (可选) 将DNN后端设置为CUDA

   net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);
   net.setPreferableTarget(dnn::DNN_TARGET_CUDA);

   模型在CUDA上运行速度快得多，所以如果可能，请使用CUDA。

5. 运行检测器

   detector->process(image, chartType, max_number_charts_in_image, true);

   如果检测器成功检测到至少一个图表，则返回true，否则返回false。在上面给出的代码中，如果未检测到任何图表，我们将打印一条失败消息。否则，如果成功，颜色图表列表将存储在检测器本身中，我们将在下一步中看到如何提取它。第四个参数用于决定是否使用网络。

6. 获取颜色校正板列表

   std::vector<cv::Ptr<mcc::CChecker>> checkers;
   detector->getListColorChecker(checkers);

   所有检测到的颜色校正板现在都存储在“checkers”向量中。

7. 将颜色校正板绘制回图像

   for(Ptr<mcc::CChecker> checker : checkers)
   {
       // 当前颜色校正板
       Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);
   cdraw->draw(image);
   }

   逐个循环遍历所有校正板，然后绘制它们。