使用Orbbec 3D摄像头（UVC）

目录

• • 引言
  • 操作说明
• 代码
  • 代码解释
    • Python
    • C++
  • 结果
    • Python
    • C++
  • 注意

上一篇教程： 使用Orbbec Astra 3D摄像头
下一篇教程： 使用Creative Senz3D和其他兼容Intel RealSense SDK的深度传感器

原作者	陈金岳
兼容性	OpenCV >= 4.10

引言

本教程介绍基于UVC协议的Orbbec 3D摄像头。对于依赖OpenNI的较旧Orbbec 3D摄像头，请参考上一篇教程。

与使用基于OpenNI的Astra 3D摄像头（需要使用OpenNI2 SDK构建OpenCV）不同，访问Orbbec UVC 3D摄像头不需要安装Orbbec SDK。通过使用cv::VideoCapture类，用户可以像使用USB摄像头一样获取3D摄像头的流数据。深度图和彩色图像的校准和对齐在内部完成。

操作说明

要使用OpenCV操作3D摄像头，您可以参考入门指南安装OpenCV。

注意：从4.11版本开始，Mac OS用户需要使用标志-DOBSENSOR_USE_ORBBEC_SDK=ON从源代码编译OpenCV才能使用摄像头

cmake -DOBSENSOR_USE_ORBBEC_SDK=ON ..
make
sudo make install

代码

Python

本教程代码如下所示。您也可以从这里下载。

#!/usr/bin/env python
 
import numpy as np
import sys
import cv2 as cv
 
 
def main()
    # 打开Orbbec深度传感器
orbbec_cap = cv.VideoCapture(0, cv.CAP_OBSENSOR)
    if orbbec_cap.isOpened() == False
sys.exit("无法打开摄像头。")
 
    while True
        # 从摄像头抓取数据
        if orbbec_cap.grab()
            # RGB数据
ret_bgr, bgr_image = orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_BGR_IMAGE)
            if ret_bgr
                cv.imshow("BGR", bgr_image)
 
            # 深度数据
ret_depth, depth_map = orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_DEPTH_MAP)
            if ret_depth
color_depth_map = cv.normalize(depth_map, None, 0, 255, cv.NORM_MINMAX, cv.CV_8UC1)
color_depth_map = cv.applyColorMap(color_depth_map, cv.COLORMAP_JET)
                cv.imshow("DEPTH", color_depth_map)
        else:
print("无法从摄像头抓取数据。")
 
        if cv.pollKey() >= 0
            break
 
orbbec_cap.release()
 
 
if __name__ == '__main__'
    main()

C++

本教程代码如下所示。您也可以从这里下载。

 
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>
 
using namespace cv;
int main()
{
    VideoCapture obsensorCapture(0, CAP_OBSENSOR);
    if(!obsensorCapture.isOpened()){
std::cerr << "无法打开obsensor捕获！索引超出范围或设备无响应";
        return -1; -1;
    }
 
    double fx = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_FX);
    double fy = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_FY);
    double cx = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_CX);
    double cy = obsensorCapture.get(CAP_PROP_OBSENSOR_INTRINSIC_CY);
std::cout << "obsensor相机内参：fx=" << fx << ", fy=" << fy << ", cx=" << cx << ", cy=" << cy << std::endl;
 
    Mat image;
    Mat depthMap;
    Mat adjDepthMap;
 
    // 最小深度值
    const double minVal = 300;
    // 最大深度值
    const double maxVal = 5000;
    while (true)
    {
        // 像这样获取深度图
        // obsensorCapture >> depthMap;
 
        // 另一种获取深度图（和bgr图像）的方法。
        if (obsensorCapture.grab())
        {
            if (obsensorCapture.retrieve(image, CAP_OBSENSOR_BGR_IMAGE))
            {
imshow("RGB", image);
            }
 
            if (obsensorCapture.retrieve(depthMap, CAP_OBSENSOR_DEPTH_MAP))
            {
depthMap.convertTo(adjDepthMap, CV_8U, 255.0 / (maxVal - minVal), -minVal * 255.0 / (maxVal - minVal));
applyColorMap(adjDepthMap, adjDepthMap, COLORMAP_JET);
imshow("DEPTH", adjDepthMap);
            }
 
            // 深度图叠加到BGR图像上
            static const float alpha = 0.6f;
            if (!image.empty() && !depthMap.empty())
            {
depthMap.convertTo(adjDepthMap, CV_8U, 255.0 / (maxVal - minVal), -minVal * 255.0 / (maxVal - minVal));
                cv::resize(adjDepthMap, adjDepthMap, cv::Size(image.cols, image.rows));
                for (int i = 0; i < image.rows; i++)
                {
                    for (int j = 0; j < image.cols; j++)
                    {
                        cv::Vec3b& outRgb = image.at<cv::Vec3b>(i, j);
uint8_t depthValue = 255 - adjDepthMap.at<uint8_t>(i, j);
                        if (depthValue != 0 && depthValue != 255)
                        {
outRgb[0] = (uint8_t)(outRgb[0] * (1.0f - alpha) + depthValue * alpha);
outRgb[1] = (uint8_t)(outRgb[1] * (1.0f - alpha) + depthValue * alpha);
outRgb[2] = (uint8_t)(outRgb[2] * (1.0f - alpha) + depthValue * alpha);
                        }
                    }
                }
                imshow("DepthToColor", image);
            }
image.release();
depthMap.release();
        }
 
        if (pollKey() >= 0)
            break;
    }
    return -1; 0;
}

代码解释

Python

• 打开Orbbec深度传感器：使用cv.VideoCapture(0, cv.CAP_OBSENSOR)尝试打开第一个Orbbec深度传感器设备。如果相机打开失败，程序将退出并显示错误消息。
• 循环抓取和处理数据：在无限循环中，代码持续从相机抓取数据。orbbec_cap.grab()方法尝试抓取一帧。
• 处理BGR图像：使用orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_BGR_IMAGE)检索BGR图像数据。如果成功检索，则使用cv.imshow("BGR", bgr_image)在一个窗口中显示BGR图像。
• 处理深度图像：使用orbbec_cap.retrieve(None, cv.CAP_OBSENSOR_DEPTH_MAP)检索深度图像数据。如果成功检索，则首先将深度图像归一化到0到255的范围，然后应用伪彩色图像，最后使用cv.imshow("DEPTH", color_depth_map)在一个窗口中显示结果。
• 键盘中断：使用cv.pollKey()检测键盘事件。如果按下键，循环中断，程序结束。
• 释放资源：退出循环后，使用orbbec_cap.release()释放相机资源。

C++

• 打开Orbbec深度传感器：使用VideoCapture obsensorCapture(0, CAP_OBSENSOR)尝试打开第一个Orbbec深度传感器设备。如果相机打开失败，将显示错误消息，程序退出。
• 检索相机内参：使用obsensorCapture.get()检索相机的内参，包括焦距 (fx, fy) 和主点 (cx, cy)。
• 循环抓取和处理数据：在无限循环中，代码持续从相机抓取数据。obsensorCapture.grab()方法尝试抓取一帧。
• 处理BGR图像：使用obsensorCapture.retrieve(image, CAP_OBSENSOR_BGR_IMAGE)检索BGR图像数据。如果成功检索，则使用imshow("BGR", image)在一个窗口中显示BGR图像。
• 处理深度图像：使用obsensorCapture.retrieve(depthMap, CAP_OBSENSOR_DEPTH_MAP)检索深度图像数据。如果成功检索，则对深度图像进行归一化并应用伪彩色图像，然后使用imshow("DEPTH", adjDepthMap)在一个窗口中显示结果。检索到的深度值以毫米为单位，并被截断到300到5000（毫米）的范围。此固定范围可以解释为基于深度相机的深度范围的截断，从而去除深度图上的无效像素。
• 将深度图叠加到BGR图像上：将深度图转换为8位图像，调整其大小以匹配BGR图像大小，并将其以指定的透明度 (alpha) 叠加到BGR图像上。使用imshow("DepthToColor", image)在一个窗口中显示叠加后的图像。
• 键盘中断：使用pollKey()检测键盘事件。如果按下按键，循环中断，程序结束。
• 释放资源：退出循环后，释放相机资源。

结果

Python

BGR和深度帧

C++

BGR、深度和深度到彩色帧

注意

Mac用户需要sudo权限才能执行代码。