在本教程中，您将学习如何使用神经网络来提高图表检测算法的准确性。

构建

构建 OpenCV 时，运行以下命令来构建所有 contrib 模块

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/

或者仅构建 mcc 模块

cmake -D OPENCV_EXTRA_MODULES_PATH=<opencv_contrib>/modules/mcc

或者确保您在 CMake 的 GUI 版本中选中 mcc 模块：cmake-gui。

示例的源代码

您可以通过执行以下操作来运行示例代码

<您的 OpenCV 构建目录路径>/bin/example_mcc_chart_detection_with_network -t=<图表类型> -m=<神经网络路径> -pb=<模型 pbtxt 路径> -v=<可选的视频路径，如果未提供，将使用网络摄像头.mp4> --ci=<可选的摄像头 ID，仅在未提供视频时需要> --nc=<图像中可选的最大图表数量> --use_gpu <可选的是否应使用 GPU>
 
``'
 
* -t=# 是图表类型，其中 0（标准）、1（DigitalSG）、2（Vinyl）
* --ci=# 是摄像头 ID，其中 0（默认是主摄像头），1（辅助摄像头）等
* --nc=# 默认情况下其值为 1，这意味着只会检测到最佳图表
 
示例

在 CPU 上简单运行（不使用 GPU） /home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4

在 GPU 上运行 /home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu

在 GPU 上运行并检测最佳 5 个图表（检测数量可以少于 5 个，但不能超过 5 个） /home/opencv/build/bin/example_mcc_chart_detection_with_network -t=0 -m=/home/model.pb –pb=/home/model.pbtxt -v=mcc24.mp4 –use_gpu –nc=5 ```

#include <opencv2/core.hpp>
 
#include <opencv2/highgui.hpp>
#include <opencv2/mcc.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>
 
using namespace std;
using namespace cv;
using namespace mcc;
 
const char *about = "使用神经网络的基本图表检测";
const char *keys = {
 "{ help h usage ? | | 显示此消息 }"
 "{t | 0 | chartType：0-标准，1-DigitalSG，2-Vinyl，默认值：0}"
 "{m | | 模型的文件路径，如果您没有模型，可以在文档中找到链接}"
 找到链接}"
 "{pb | | pbtxt 文件的文件路径，与模型文件一起提供}"
 文件}"
 "{v | | 来自视频文件的输入，如果省略，则输入来自摄像头 }"
 "{ci | 0 | 如果输入不是来自视频（-v），则摄像头 ID }"
 "{nc | 1 | 图像中图表的最大数量 }"
 "{use_gpu | | 如果您想使用 GPU，请添加此标志}"};
 
int main(int argc, char *argv[])
{
    // ----------------------------------------------------------
 // 向下滚动一点（~50 行）以找到实际相关的代码
    // ----------------------------------------------------------
 
 CommandLineParser parser(argc, argv, keys);
 parser.about(about);
 
 if (parser.has("help"))
    {
 parser.printMessage();
 return -1;
    }
 
 int t = parser.get<int>("t");
 
 CV_Assert(0 <= t && t <= 2);
 TYPECHART chartType = TYPECHART(t);
 
 string model_path = parser.get<string>("m");
 string pbtxt_path = parser.get<string>("pb");
 
 int camId = parser.get<int>("ci");
 int nc = parser.get<int>("nc");
 
 String video;
 
 if (parser.has("v"))
 video = parser.get<String>("v");
 
 bool use_gpu = parser.has("use_gpu");
 
 if (!parser.check())
    {
 parser.printErrors();
 return 0;
    }
 
 VideoCapture inputVideo;
 int waitTime;
 if (!video.empty())
    {
 inputVideo.open(video);
 waitTime = 10;
    }
 else
    {
 inputVideo.open(camId);
 waitTime = 10;
    }
 
    //--------------------------------------------------------------------------
 //-------------------------实际相关的代码-----------------------------
    //--------------------------------------------------------------------------
 
 //加载网络
 
 cv::dnn::Net net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);
 
 if (use_gpu)
    {
 net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);
 net.setPreferableTarget(dnn::DNN_TARGET_CUDA);
    }
 
 Ptr<CCheckerDetector> detector = CCheckerDetector::create();
 if (!detector->setNet(net))
    {
 cout << "加载模型失败：中止" << endl;
 return 0;
    }
 
 while (inputVideo.grab())
    {
 Mat image, imageCopy;
 inputVideo.retrieve(image);
 
 imageCopy = image.clone();
 
 // 要检测的标记类型
 if (!detector->process(image, chartType, nc, true))
        {
 printf("未检测到 ChartColor \n");
        }
 else
        {
 
 // 获取检查器
 std::vector<Ptr<mcc::CChecker>> checkers = detector->getListColorChecker();
 for (Ptr<mcc::CChecker> checker : checkers)
            {
 // 当前检查器
 
 Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);
 cdraw->draw(image);
            }
        }
 
 imshow("图像结果 | q 或 esc 退出", image);
 imshow("原始", imageCopy);
 char key = (char)waitKey(waitTime);
 if (key == 27)
 break;
    }
 
 return 0;
}

说明

设置头文件和命名空间
#include <opencv2/mcc.hpp>

using namespace std;

using namespace cv;

using namespace mcc;

如果需要，您可以像上面的代码一样设置命名空间。
创建检测器对象
Ptr<CCheckerDetector> detector = CCheckerDetector::create();

这只是为了创建对象。
加载模型
cv::dnn::Net net = cv::dnn::readNetFromTensorflow(model_path, pbtxt_path);

加载模型，此处提供的模型是在 tensorflow 中训练的，因此我们将其加载到 tensorflow 中，但是如果您有在其他框架中训练的其他模型，也可以使用它。
（可选）将 dnn 后端设置为 CUDA
net.setPreferableBackend(dnn::DNN_BACKEND_CUDA);

net.setPreferableTarget(dnn::DNN_TARGET_CUDA);

模型在 CUDA 上运行得更快，因此如果可能，请使用 CUDA。
运行检测器
detector->process(image, chartType, max_number_charts_in_image, true);

如果检测器成功检测到至少一个图表，则返回 true，否则返回 false。在上面给出的代码中，如果没有检测到任何图表，我们会打印一条失败消息。否则，如果成功，则颜色图表列表存储在检测器本身中，我们将在下一步中看到如何提取它。第四个参数用于决定是否使用网络。
获取颜色检查器列表
std::vector<cv::Ptr<mcc::CChecker>> checkers;

detector->getListColorChecker(checkers);

所有检测到的颜色检查器现在都存储在“checkers”向量中。
将颜色检查器绘制回图像
for(Ptr<mcc::CChecker> checker : checkers)

{

// 当前检查器

Ptr<CCheckerDraw> cdraw = CCheckerDraw::create(checker);

cdraw->draw(image);

}

逐个循环遍历所有检查器，然后绘制它们。