使用 DepthAI 硬件 / OAK 深度传感器

目录

• 源代码

上一篇教程： 使用 G-API 实现人脸美化算法

Oak-D 和 Oak-D-Light 相机

通过 OpenCV Graph API (或 G-API) 模块支持与 Luxonis DepthAI 库兼容的深度传感器。RGB 图像和其他一些输出格式可以通过 G-API 模块的常用接口检索。

为了在 OpenCV 中使用 DepthAI 传感器，您应该执行以下初步步骤

1. 安装 Luxonis DepthAI 库 depthai-core。
2. 通过在 CMake 中设置 WITH_OAK 标志来配置 OpenCV 以支持 DepthAI 库。如果在安装文件夹中找到 DepthAI 库，则 OpenCV 将使用 depthai-core 构建（请参阅 CMake 日志中的 WITH_OAK 状态）。
3. 构建 OpenCV。

源代码

您可以在 OpenCV 源代码库的 modules/gapi/samples/oak_basic_infer.cpp 中找到如何处理异构图的源代码。

C++

#include <algorithm>
#include <iostream>
#include <sstream>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/gapi.hpp>
#include <opencv2/gapi/core.hpp>
#include <opencv2/gapi/imgproc.hpp>
#include <opencv2/gapi/infer.hpp>
#include <opencv2/gapi/infer/parsers.hpp>
#include <opencv2/gapi/render.hpp>
#include <opencv2/gapi/cpu/gcpukernel.hpp>
#include <opencv2/highgui.hpp>
 
#include <opencv2/gapi/oak/oak.hpp>
#include <opencv2/gapi/oak/infer.hpp>
 
const std::string keys =
    "{ h help | | 打印此帮助消息 }"
    "{ detector | | 编译后的 .blob 人脸检测器模型的路径 }"
    "{ duration | 100 | 从相机拉取并运行推理的帧数 }";
 
namespace custom {
 
G_API_NET(FaceDetector, <cv::GMat(cv::GFrame)>, "sample.custom.face-detector");
 
using GDetections = cv::GArray<cv::Rect>;
using GSize = cv::GOpaque<cv::Size>;
using GPrims = cv::GArray<cv::gapi::wip::draw::Prim>;
 
G_API_OP(BBoxes, <GPrims(GDetections)>, "sample.custom.b-boxes") {
    static cv::GArrayDesc outMeta(const cv::GArrayDesc &) {
        return cv::empty_array_desc();
    }
};
 
GAPI_OCV_KERNEL(OCVBBoxes, BBoxes) {
    // 此内核将矩形转换为 G-API 的
    // 渲染图元
    static void run(const std::vector<cv::Rect> &in_face_rcs,
std::vector<cv::gapi::wip::draw::Prim> &out_prims) {
out_prims.clear();
        const auto cvt = [](const cv::Rect &rc, const cv::Scalar &clr) {
            return cv::gapi::wip::draw::Rect(rc, clr, 2);
        };
        for (auto &&rc : in_face_rcs) {
out_prims.emplace_back(cvt(rc, CV_RGB(0,255,0))); // 绿色
        }
    }
};
 
} // namespace custom
 
int main(int argc, char *argv[]) {
    cv::CommandLineParser cmd(argc, argv, keys);
    if (cmd.has("help")) {
cmd.printMessage();
        return 0;
    }
 
    const auto det_name = cmd.get<std::string>("detector");
    const auto duration = cmd.get<int>("duration");
 
    if (det_name.empty()) {
std::cerr << "FATAL: 没有为示例提供检测模型的路径。"
<< "请使用 --detector 选项指定它。"
<< std::endl;
        return 1;
    }
 
    // 准备 G-API 内核和网络包
    auto detector = cv::gapi::oak::Params<custom::FaceDetector>(det_name);
    auto networks = cv::gapi::networks(detector);
 
    auto kernels = cv::gapi::combine(
        cv::gapi::kernels<custom::OCVBBoxes>(),
        cv::gapi::oak::kernels());
 
    auto args = cv::compile_args(kernels, networks);
 
    // 初始化图结构
    cv::GFrame in;
    cv::GFrame copy = cv::gapi::oak::copy(in); // NV12 传输到主机 + 用于推断的直通副本
    cv::GOpaque<cv::Size> sz = cv::gapi::streaming::size(copy);
 
    // 推理不受此处实际副本的影响
    cv::GMat blob = cv::gapi::infer<custom::FaceDetector>(copy);
    // FIXME：OAK 推理检测到的面部略超出帧边界
    cv::GArray<cv::Rect> rcs = cv::gapi::parseSSD(blob, sz, 0.5f, true, false);
    auto rendered = cv::gapi::wip::draw::renderFrame(copy, custom::BBoxes::on(rcs));
    // 动态转换 NV12->BGR
    cv::GMat out = cv::gapi::streaming::BGR(rendered);
 
    auto pipeline = cv::GComputation(cv::GIn(in), cv::GOut(out, rcs))
.compileStreaming(std::move(args));
 
    // 图执行
pipeline.setSource(cv::gapi::wip::make_src<cv::gapi::oak::ColorCamera>());
pipeline.start();
 
    cv::Mat out_mat;
std::vector<cv::Rect> out_dets;
    int frames = 0;
    while (pipeline.pull(cv::gout(out_mat, out_dets))) {
std::string name = "oak_infer_frame_" + std::to_string(frames) + ".png";
 
        cv::imwrite(name, out_mat);
 
        if (!out_dets.empty()) {
std::cout << "在帧 #" << frames << " 上获得 " << out_dets.size() << " 个检测。" << std::endl;
        }
 
++frames;
        if (frames == duration) {
pipeline.stop();
            break;
        }
    }
std::cout << "管道已完成。处理了 " << frames << " 帧" << std::endl;
    return 0;
}