使用神经网络检测色卡

在本教程中，你将了解如何使用神经网络来提高图表检测算法的准确性。

生成本地

生成 OpenCV 时，运行以下命令以生成所有 contrib 模块

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

仅生成 mcc 模块或

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/mcc

或确保在 CMake 的 GUI 版本中选中 mcc 模块：cmake-gui。

示例源代码

可以通过以下方式运行示例代码

<path_of_your_opencv_build_directory>/bin/example_mcc_chart_detection_with_network -t=<type_of_chart> -m=<path_to_neural_network> -pb=<path_to_models_pbtxt> -v=<optional_path_to_video_if_not_provided_webcam_will_be_used.mp4> --ci=<optional_camera_id_needed_only_if_video_not_provided> --nc=<optional_maximum_number_of_charts_in_image> --use_gpu <optional_should_gpu_be_used>
 
``'
 
* -t=# 为图表类型，其中 0（标准）、1（DigitalSG）、2（黑胶唱片）
* --ci=# 为摄像机 ID，其中 0（默认为主摄像机），1（副摄像机）等
* --nc=# 默认为 1，表示仅检测最佳图表
 
示例

在 CPU 上运行（不会使用 GPU）/home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4

在 GPU 上运行 /home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu

在 GPU 上运行并检测最佳 5 个图表（检测可以少于 5 个，但不能多于 5 个）/home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu –nc=5 ```

#include <opencv2/core.hpp>
 
#include <opencv2/highgui.hpp>
#include <opencv2/mcc.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>
 
using namespace std;
using namespace cv;
using namespace mcc;
 
const char *about = 基本图表检测使用神经网络;
const char *keys = {
 "{ help h usage ? | | 显示此消息 }"
 "{t | 0 | chartType: 0-Standard, 1-DigitalSG, 2-Vinyl, 默认:0}"
 "{m | | 模型的文件路径，如果你没有模型, 可以在文档中
 找到链接}"
 "{pb | | pbtxt 文件的路径，可以使用模型
 文件}"
 "{v | | 视频文件中的输入，如果省略，输入来自摄像头}"
 "{ci | 0 | 如果输入不来自视频 (-v) 的摄像头 id }"
 "{nc | 1 | 图像中图表的最大数量}"
 "{use_gpu | | 如果你想使用 gpu, 可以添加此标志}";
 
int main(int argc, char *argv[])
{
    // ----------------------------------------------------------
 // 向下滚动一些 (~50 行) 找到实际相关代码
    // ----------------------------------------------------------
 
 CommandLineParser parser(argc, argv, keys);
 parser.about(about);
 
 if (parser.has(帮助))
    {
 parser.printMessage();
 return -1;
    }
 
 int t = parser.get<int>(t);
 
 CV_Assert(0 <= t && t <= 2);
 TYPECHART chartType = TYPECHART(t);
 
 string model_path = parser.get<string>(m);
 string pbtxt_path = parser.get<string>("pb");
 
 int camId = parser.get<int>("ci");
 int nc = parser.get<int>("nc");
 
 String video;
 
 if (parser.has("v"))
 video = parser.get<String>("v");
 
 bool use_gpu = parser.has("use_gpu");
 
 if (!parser.check())
    {
 parser.printErrors();
 return 0;
    }
 
 VideoCapture inputVideo;
 int waitTime;
 if (!video.empty())
    {
 inputVideo.open(video);
 waitTime = 10;
    }
 else
    {
 inputVideo.open(camId);
 waitTime = 10;
    }
 
    //--------------------------------------------------------------------------
 //-------------------------Actual Relevant Code-----------------------------
    //--------------------------------------------------------------------------
 
 //load the network
 
 cv::dnn::Net net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);
 
 if (use_gpu)
    {
 net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);
 net.setPreferableTarget(dnn::DNN_TARGET_CUDA);
    }
 
 Ptr<CCheckerDetector> detector = CCheckerDetector::create();
 如果 (!detector->setNet(net))
    {
 cout << "加载模型失败: 中断" << endl;
 返回 0;
    }
 
 当 (inputVideo.grab())
    {
 Mat image, imageCopy;
 inputVideo.retrieve(image);
 
 imageCopy = image.clone();
 
 // 检测的标注类型
 如果 (!detector->process(image, chartType, nc, 真))
        {
 printf("未检测到 ChartColor \n");
        }
 否则
        {
 
 // 获取检测器
 std::vector<Ptr<mcc::CChecker>> checkers = detector->getListColorChecker();
 对于 (Ptr<mcc::CChecker> checker : checkers)
            {
 // 当前检测器
 
 Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);
 cdraw->draw(image);
            }
        }
 
 imshow("图像结果 | 按 q 或 esc 退出", image);
 imshow("原始", imageCopy);
 char key = (char)waitKey(waitTime);
 如果 (key == 27)
 中断;
    }
 
 返回 0;
}

说明

1. 设置头文件和命名空间

   #include <opencv2/mcc.hpp>
   using namespace std;
   using namespace cv;
   using namespace mcc;

   如果您愿意，可以像上述代码一样设置命名空间。

2. 创建检测器对象

   Ptr<CCheckerDetector> detector = CCheckerDetector::create();

   这仅仅是用于创建对象。

3. 加载模型

   net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);

   在其中模型通过提供的模型在 tensorflow 中进行了训练，因此我们正在 tensorflow 中加载该模型，但是如果你在其他框架中训练了某些其他模型，你也可以使用该模型，只需加载该模型。

4. **(可选) 将 dnn 后端设置为 CUDA**

   net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);
   net.setPreferableTarget(dnn::DNN_TARGET_CUDA);

   模型在 CUDA 上运行得要快得多，因此如果可能，使用 CUDA。

5. 运行检测器

   detector->process(image, chartType, max_number_charts_in_image, true);

   如果检测器成功至少检测到一个图表，则返回 true，否则返回 false。在上面给出的代码中，如果没有检测到图表，我们打印一条失败消息。否则，如果成功，颜色图表的列表将存储在检测器本身中，我们将看到下一步如何提取它。第四个参数是用于决定是否使用该网络。

6. 获取颜色图表的列表

   std::vector<cv::Ptr<mcc::CChecker>> checkers;
   detector->getListColorChecker(checkers);

   现在，“checkers”向量中存储了检测到的所有颜色图表。

7. 重绘制图像中的颜色图表

   for(Ptr<mcc::CChecker> checker : checkers)
   {
       // 当前图表
       Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);
   cdraw->draw(image);
   }

   逐个循环遍历所有图表，然后绘制它们。