在基于Android相机预览的CV应用程序中使用OpenCL

上一教程： 如何在Android设备上运行深度神经网络
下一教程： 在MacOS上安装

原作者	Andrey Pavlenko, Alexander Panov
兼容性	OpenCV >= 4.9

本指南旨在帮助您在基于Android相机预览的CV应用程序中使用OpenCL™。本教程是为Android Studio 2022.2.1编写的。它已在Ubuntu 22.04上进行了测试。

本教程假设您已安装并配置以下内容：

• Android Studio (2022.2.1.+)
• JDK 17
• Android SDK
• Android NDK (25.2.9519653+)
• 从github或releases下载OpenCV源代码，并按照wiki上的说明进行构建。

它还假设您熟悉Android Java和JNI编程的基础知识。如果您需要关于以上任何内容的帮助，您可以参考我们的Android开发入门指南。

本教程还假设您拥有启用了OpenCL的Android设备。

相关的源代码位于OpenCV示例的opencv/samples/android/tutorial-4-opencl目录中。

如何构建带有OpenCL的自定义OpenCV Android SDK

1. 组装和配置Android OpenCL SDK。示例的JNI部分依赖于标准的Khronos OpenCL头文件，以及OpenCL的C++包装器和libOpenCL.so。标准的OpenCL头文件可以从OpenCV存储库的3rdparty目录或您的Linux发行版软件包中复制。C++包装器可在Github上的官方Khronos存储库中找到。按以下方式将头文件复制到指定的目录：

   cd your_path/ && mkdir ANDROID_OPENCL_SDK && mkdir ANDROID_OPENCL_SDK/include && cd ANDROID_OPENCL_SDK/include
   cp -r path_to_opencv/opencv/3rdparty/include/opencl/1.2/CL . && cd CL
   wget https://github.com/KhronosGroup/OpenCL-CLHPP/raw/main/include/CL/opencl.hpp
   wget https://github.com/KhronosGroup/OpenCL-CLHPP/raw/main/include/CL/cl2.hpp

   libOpenCL.so可能由BSP提供，或者可以从任何具有相关架构的启用OpenCL的Android设备下载。

   cd your_path/ANDROID_OPENCL_SDK && mkdir lib && cd lib
   adb pull /system/vendor/lib64/libOpenCL.so

   libOpenCL.so的系统版本可能有很多平台特定的依赖项。-Wl,--allow-shlib-undefined标志允许在构建过程中忽略未使用的第三方符号。以下CMake行允许将JNI部分链接到标准OpenCL，但不将loadLibrary包含到应用程序包中。系统OpenCL API在运行时使用。

   target_link_libraries(${target} -lOpenCL)

2. 使用OpenCL构建自定义OpenCV Android SDK。默认情况下，Android OS的OpenCV构建中禁用了OpenCL支持（T-API），但可以在本地重新构建启用OpenCL/T-API的Android版OpenCV：对CMake使用-DWITH_OPENCL=ON选项。您还需要指定Android OpenCL SDK的路径：对CMake使用-DANDROID_OPENCL_SDK=path_to_your_Android_OpenCL_SDK选项。如果您使用build_sdk.py构建OpenCV，请按照wiki上的说明操作。在您的.config.py（例如ndk-18-api-level-21.config.py）中设置这些CMake参数：

   ABI("3", "arm64-v8a", None, 21, cmake_vars=dict('WITH_OPENCL': 'ON', 'ANDROID_OPENCL_SDK': 'path_to_your_Android_OpenCL_SDK'))

   如果您使用cmake/ninja构建OpenCV，请使用此bash脚本（设置您的NDK_VERSION和路径，而不是路径示例）：

   cd path_to_opencv && mkdir build && cd build
   export NDK_VERSION=25.2.9519653
   export ANDROID_SDK=/home/user/Android/Sdk/
   export ANDROID_OPENCL_SDK=/path_to_ANDROID_OPENCL_SDK/
   export ANDROID_HOME=$ANDROID_SDK
   export ANDROID_NDK_HOME=$ANDROID_SDK/ndk/$NDK_VERSION/
   cmake -GNinja -DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK_HOME/build/cmake/android.toolchain.cmake -DANDROID_STL=c++_shared -DANDROID_NATIVE_API_LEVEL=24
   -DANDROID_SDK=$ANDROID_SDK -DANDROID_NDK=$ANDROID_NDK_HOME -DBUILD_JAVA=ON -DANDROID_HOME=$ANDROID_SDK -DBUILD_ANDROID_EXAMPLES=ON
   -DINSTALL_ANDROID_EXAMPLES=ON -DANDROID_ABI=arm64-v8a -DWITH_OPENCL=ON -DANDROID_OPENCL_SDK=$ANDROID_OPENCL_SDK ..

前言

通过OpenCL使用GPGPU来提高应用程序性能是一种非常现代的趋势。一些CV算法（例如图像滤波）在GPU上的运行速度比在CPU上快得多。最近，这在Android OS上成为可能。

Android设备上最流行的CV应用程序场景是启动相机预览模式，对每一帧应用一些CV算法，并显示该CV算法修改后的预览帧。

让我们考虑一下如何在这种情况中使用OpenCL。特别是，让我们尝试两种方法：直接调用OpenCL API和最近引入的OpenCV T-API（又名透明API）——一些OpenCV算法的隐式OpenCL加速。

应用程序结构

从Android API级别11（Android 3.0）开始，Camera API允许使用OpenGL纹理作为预览帧的目标。Android API级别21带来了新的Camera2 API，它提供了对相机设置和使用模式的更多控制，它允许多个预览帧目标，特别是OpenGL纹理。

在OpenGL纹理中拥有预览帧对于使用OpenCL来说是一件好事，因为存在OpenGL-OpenCL互操作性API (cl_khr_gl_sharing)，允许在不进行复制的情况下（当然，有一些限制）与OpenCL函数共享OpenGL纹理数据。

让我们创建一个应用程序的基础，它只配置Android相机将预览帧发送到OpenGL纹理，并在显示器上显示这些帧，而无需任何处理。

为此目的的最小Activity类如下所示：

public class Tutorial4Activity extends Activity {
 
    private MyGLSurfaceView mView;
 
@Override
    public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
requestWindowFeature(Window.FEATURE_NO_TITLE);
getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN,
WindowManager.LayoutParams.FLAG_FULLSCREEN);
getWindow().setFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON,
WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);
 
mView = new MyGLSurfaceView(this);
setContentView(mView);
    }
 
@Override
    protected void onPause() {
mView.onPause();
super.onPause();
    }
 
@Override
    protected void onResume() {
super.onResume();
mView.onResume();
    }
}

相应的最小View类：

public class MyGLSurfaceView extends CameraGLSurfaceView implements CameraGLSurfaceView.CameraTextureListener {
 
    static final String LOGTAG = "MyGLSurfaceView";
    受保护的 int procMode = NativePart.PROCESSING_MODE_NO_PROCESSING;
    静态 final String[] procModeName = new String[] {"无处理", "CPU", "OpenCL 直接", "OpenCL 通过 OpenCV"};
    受保护的 int frameCounter;
    受保护的 long lastNanoTime;
TextView mFpsText = null;
 
    公共 MyGLSurfaceView(Context context, AttributeSet attrs) {
super(context, attrs);
    }
 
@Override
    公共 boolean onTouchEvent(MotionEvent e) {
        如果(e.getAction() == MotionEvent.ACTION_DOWN)
((Activity)getContext()).openOptionsMenu();
        返回 true;
    }
 
@Override
    公共 void surfaceCreated(SurfaceHolder holder) {
super.surfaceCreated(holder);
        //NativePart.initCL();
    }
 
@Override
    公共 void surfaceDestroyed(SurfaceHolder holder) {
        //NativePart.closeCL();
super.surfaceDestroyed(holder);
    }
 
    公共 void setProcessingMode(int newMode) {
        如果(newMode>=0 && newMode
procMode = newMode;
        否则
Log.e(LOGTAG, "忽略无效的处理模式: " + newMode);
 
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "选择的模式: " + procModeName[procMode], Toast.LENGTH_LONG).show();
            }
        });
    }
 
@Override
    公共 void onCameraViewStarted(int width, int height) {
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "onCameraViewStarted", Toast.LENGTH_SHORT).show();
            }
        });
        如果 (NativePart.builtWithOpenCL())
NativePart.initCL();
frameCounter = 0;
lastNanoTime = System.nanoTime();
    }
 
@Override
    公共 void onCameraViewStopped() {
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "onCameraViewStopped", Toast.LENGTH_SHORT).show();
            }
        });
    }
 
@Override
    公共 boolean onCameraTexture(int texIn, int texOut, int width, int height) {
        // FPS
frameCounter++;
        如果(frameCounter >= 30)
        {
            最终的 int fps = (int) (frameCounter * 1e9 / (System.nanoTime() - lastNanoTime));
Log.i(LOGTAG, "drawFrame() FPS: "+fps);
            如果(mFpsText != null) {
Runnable fpsUpdater = new Runnable() {
                    公共 void run() {
mFpsText.setText("FPS: " + fps);
                    }
                };
                new Handler(Looper.getMainLooper()).post(fpsUpdater);
} 否则 {
Log.d(LOGTAG, "mFpsText == null");
mFpsText = (TextView)((Activity) getContext()).findViewById(R.id.fps_text_view);
            }
frameCounter = 0;
lastNanoTime = System.nanoTime();
        }
 
 
        如果(procMode == NativePart.PROCESSING_MODE_NO_PROCESSING)
            返回 false;
 
NativePart.processFrame(texIn, texOut, width, height, procMode);
        返回 true;
    }
}

procMode = newMode;
        否则
Log.e(LOGTAG, "忽略无效的处理模式: " + newMode);
 
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "选择的模式: " + procModeName[procMode], Toast.LENGTH_LONG).show();
            }
        });
    }
 
@Override
    公共 void onCameraViewStarted(int width, int height) {
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "onCameraViewStarted", Toast.LENGTH_SHORT).show();
            }
        });
        如果 (NativePart.builtWithOpenCL())
NativePart.initCL();
frameCounter = 0;
lastNanoTime = System.nanoTime();
    }
 
@Override
    公共 void onCameraViewStopped() {
((Activity) getContext()).runOnUiThread(new Runnable() {
            公共 void run() {
Toast.makeText(getContext(), "onCameraViewStopped", Toast.LENGTH_SHORT).show();
            }
        });
    }
 
@Override
    公共 boolean onCameraTexture(int texIn, int texOut, int width, int height) {
        // FPS
frameCounter++;
        如果(frameCounter >= 30)
        {
            最终的 int fps = (int) (frameCounter * 1e9 / (System.nanoTime() - lastNanoTime));
Log.i(LOGTAG, "drawFrame() FPS: "+fps);
            如果(mFpsText != null) {
Runnable fpsUpdater = new Runnable() {
                    公共 void run() {
mFpsText.setText("FPS: " + fps);
                    }
                };
                new Handler(Looper.getMainLooper()).post(fpsUpdater);
} 否则 {
Log.d(LOGTAG, "mFpsText == null");
mFpsText = (TextView)((Activity) getContext()).findViewById(R.id.fps_text_view);
            }
frameCounter = 0;
lastNanoTime = System.nanoTime();
        }
 
 
        如果(procMode == NativePart.PROCESSING_MODE_NO_PROCESSING)
            返回 false;
 
NativePart.processFrame(texIn, texOut, width, height, procMode);
        返回 true;
    }
}