使用 DepthAI 硬件/OAK 深度传感器

目录

• 源代码

上一教程： 使用 G-API 实现人脸美化算法

Oak-D 和 Oak-D-Light 摄像头

与 Luxonis DepthAI 库兼容的深度传感器通过 OpenCV 图形 API (或 G-API) 模块支持。可以使用 G-API 模块熟悉的接口检索 RGB 图像和其他一些格式的输出。

为了使用 DepthAI 传感器与 OpenCV，您应该执行以下初步步骤

1. 安装 Luxonis DepthAI 库 depthai-core。
2. 通过在 CMake 中设置WITH_OAK标志来配置 OpenCV 以支持 DepthAI 库。如果在安装文件夹中找到 DepthAI 库，则 OpenCV 将使用 depthai-core 构建（请参阅 CMake 日志中的WITH_OAK状态）。
3. 构建 OpenCV。

源代码

您可以在 OpenCV 源代码库的modules/gapi/samples/oak_basic_infer.cpp中找到如何处理异构图的源代码。

C++

#include <algorithm>
#include <iostream>
#include <sstream>
 
#include <opencv2/imgproc.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/gapi.hpp>
#include <opencv2/gapi/core.hpp>
#include <opencv2/gapi/imgproc.hpp>
#include <opencv2/gapi/infer.hpp>
#include <opencv2/gapi/infer/parsers.hpp>
#include <opencv2/gapi/render.hpp>
#include <opencv2/gapi/cpu/gcpukernel.hpp>
#include <opencv2/highgui.hpp>
 
#include <opencv2/gapi/oak/oak.hpp>
#include <opencv2/gapi/oak/infer.hpp>
 
const std::string keys =
    "{ h help | | 打印此帮助消息 }"
    "{ detector | | 编译后的 .blob 人脸检测器模型的路径 }"
    "{ duration | 100 | 从相机拉取并运行推理的帧数 }";
 
namespace custom {
 
G_API_NET(FaceDetector, <cv::GMat(cv::GFrame)>, "sample.custom.face-detector");
 
using GDetections = cv::GArray<cv::Rect>;
using GSize = cv::GOpaque<cv::Size>;
using GPrims = cv::GArray<cv::gapi::wip::draw::Prim>;
 
G_API_OP(BBoxes, <GPrims(GDetections)>, "sample.custom.b-boxes") {
    static cv::GArrayDesc outMeta(const cv::GArrayDesc &) {
        return cv::empty_array_desc();
    }
};
 
GAPI_OCV_KERNEL(OCVBBoxes, BBoxes) {
    // 此内核将矩形转换为 G-API 的
    // 渲染基元
    static void run(const std::vector<cv::Rect> &in_face_rcs,
std::vector<cv::gapi::wip::draw::Prim> &out_prims) {
out_prims.clear();
        const auto cvt = [](const cv::Rect &rc, const cv::Scalar &clr) {
            return cv::gapi::wip::draw::Rect(rc, clr, 2);
        };
        for (auto &&rc : in_face_rcs) {
out_prims.emplace_back(cvt(rc, CV_RGB(0,255,0))); // 绿色
        }
    }
};
 
} // namespace custom
 
int main(int argc, char *argv[]) {
    cv::CommandLineParser cmd(argc, argv, keys);
    if (cmd.has("help")) {
cmd.printMessage();
        return 0; 0;
    }
 
    } const auto det_name = cmd.get<std::string>("detector");
    const auto duration = cmd.get<int>("duration");
 
    if (det_name.empty()) {
std::cerr << "致命错误：未为示例提供检测模型的路径。"
<< "请使用 --detector 选项指定它。"
<< std::endl;
        return 0; 1;
    }
 
    // 准备 G-API 内核和网络包
    auto detector = cv::gapi::oak::Params<custom::FaceDetector>(det_name);
    auto networks = cv::gapi::networks(detector);
 
    auto kernels = cv::gapi::combine(
        cv::gapi::kernels<custom::OCVBBoxes>(),(),
        cv::gapi::oak::kernels()());
 
    );
 
    // 初始化图结构
    cv::GFrame in;
    cv::GFrame copy = cv::gapi::oak::copy(in); // NV12 传输到主机 + 用于推理的直通复制
    cv::GOpaque<cv::Size> sz = cv::gapi::streaming::size(copy);
 
    // 此处的实际复制不影响 infer
    cv::GMat blob = cv::gapi::infer<custom::FaceDetector>(copy);
    // FIXME：OAK infer 检测到的人脸略微超出帧边界
    cv::GArray<cv::Rect> rcs = cv::gapi::parseSSD(blob, sz, 0.5f, true, false);
    auto rendered = cv::gapi::wip::draw::renderFrame(copy, custom::BBoxes::on(rcs));
    // 实时转换 NV12->BGR
    cv::GMat out = cv::gapi::streaming::BGR(rendered);
 
    auto pipeline = cv::GComputation(cv::GIn(in), cv::GOut(out, rcs))
.compileStreaming(std::move(args));
 
    // 图计算执行
pipeline.setSource(cv::gapi::wip::make_src<cv::gapi::oak::ColorCamera>());
pipeline.start();
 
    cv::Mat out_mat;
std::vector<cv::Rect> out_dets;
    int frames = 0;
    while (pipeline.pull(cv::gout(out_mat, out_dets))) {
std::string name = "oak_infer_frame_" + std::to_string(frames) + ".png";
 
        cv::imwrite(name, out_mat);
 
        if (!out_dets.empty()) {
std::cout << "第 " << frames << " 帧检测到 " << out_dets.size() << " 个目标" << std::endl;
        }
 
++frames;
        if (frames == duration) {
pipeline.stop();
            break;;
        }
    }
std::cout << "流水线已完成。已处理 " << frames << " 帧图像" << std::endl;
    return 0; 0;
}