SOPHON BMCV中使用bm_image的相关问题1.cv::Mat如何转换为bm_image2. 如何将bm_image转为cv.Mat3. 使用NV12原始数据，创建bm_image的注意事项4. BMCV相关接口，输入和输出可以使同一个bm_image吗5. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”6. SOPHON OpenCV

60 阅读 0 评论 40 点赞

我是靠谱客的博主甜美花瓣，最近开发中收集的这篇文章主要介绍SOPHON BMCV中使用bm_image的相关问题1.cv::Mat如何转换为bm_image2. 如何将bm_image转为cv.Mat3. 使用NV12原始数据，创建bm_image的注意事项4. BMCV相关接口，输入和输出可以使同一个bm_image吗5. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”6. SOPHON OpenCV，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

SOPHON BMCV中使用bm_image的相关问题

1.cv::Mat如何转换为bm_image
2. 如何将bm_image转为cv.Mat
3. 使用NV12原始数据，创建bm_image的注意事项
4. BMCV相关接口，输入和输出可以使同一个bm_image吗
5. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”
6. SOPHON OpenCV转bm_image的时候，报错“Memory allocated by user, no device memory assigned. Not support BMCV!”

1.cv::Mat如何转换为bm_image

如果使用BM-OpenCV创建cv::Mat ，想把它变成bm_image，那么你需要创建一个具备设备内存的Mat，也就是使用含有dev_id的参数的构造函数（也就是创建1个我们改造过的Mat），这样你才能把这个Mat通过toBMI转换为bm_image，并且这个转换过程不会发生数据拷贝，bm_image只会引用Mat的设备内存;
如果你使用data指针构造没有设备内存的原始cv::Mat，这个cv::Mat不能调用toBMI转换为bm_image，如果你确实有一个原始OpenCV的cv::Mat，要转换为bm_image，那么你应当：创建一个有设备内存的Mat，然后使用Mat.copyTo将openCV的cv::Mat的系统内存拷贝到有设备内存的Mat的系统内存空间，然后使用cv::bmcv::uploadMat将有设备内存的Mat的系统内存同步到其设备内存，然后再调用toBMI将其转换为bm_image。

2. 如何将bm_image转为cv.Mat

Python中cv.Mat就是一个numpy.array，请参考以下代码：

from sophon.sail import sail
import numpy as np

# engine = sail.Engine(model_path, device_id, io_mode)
# handle = engine.get_handle()

bm_image = sail.BMImage()

# 如果bm_image的format是FORMAT_BGR_PACKED或FORMAT_RGB_PACKED,
# 需要先转换成FORMAT_BGR_PLANAR或FORMAT_RGB_PLANAR，
# 再送入bm_image_to_tensor转Tensor，如
# image_bgr_planar = sail.BMImage(handle,  bm_image.height(),  bm_image.width(), sail.Format.FORMAT_BGR_PLANAR,  bm_image.dtype())
# sail.Bmcv(handle).convert_format(bm_image, image_bgr_planar)
# 转换到FORMAT_BGR_PLANAR，再将image_bgr_planar通过bm_image_to_tensor转换成Tensor

result_tensor = sail.Bmcv(handle).bm_image_to_tensor(bm_image) # 传入handle，初始化sail.Bmcv
result_numpy = result_tensor.asnumpy()
np_array_temp = result_numpy[0]
np_array_t = np.transpose(np_array_temp, [1, 2, 0])
mat_array = np.array(np_array_t, dtype=np.uint8)

C++中使用cv::bmcv::toMat()接口

3. 使用NV12原始数据，创建bm_image的注意事项

NV12 有2个plane，stride应为二维数据，调用bm_image_create() 或者不指定stride，内部自己计算；或者指定stride。

指定stride时，必须指定完整的stride，注意NV12 的stride应为二维数组，并指定2个plane的stride。

由于NV12 是2个plane，因此，如果要使用bm_malloc_device_byte和bm_image_attach的话，需要分别调用2次bm_malloc_device_byte分别为每个plane申请设备内存，这样会得到2个bm_device_mem_t，把他们写成1个数组，然后再用这个数组来调用bm_image_attach。

因此，建议使用bm_image_alloc_dev_mem来申请内存，而不是bm_malloc_device_byte。

4. BMCV相关接口，输入和输出可以使同一个bm_image吗

不可以。bmcv_image_resize, bmcv_image_convert_to, bmcv_image_vpp_convert 等这些接口，input和output的bm_image应当是不同的内存地址对象，不支持in-place操作。

5. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”

BM1684的VPP中硬件限制图片的缩放不能超过32倍。即应满足 dst_crop_w <= src_crop_w * 32， src_crop_w <= dst_crop_w * 32， dst_crop_h <= src_crop_h * 32 , src_crop_h <= dst_crop_h * 32。

此问题原因可能是：

输入 crop_rect 中的crop_w, crop_h 与输出 padding_attr 中的dst_crop_w ，dst_crop_h 缩放比例超过了32倍。
crop_rect，padding_attr 值的数量应与 output_num的数量一致。

6. SOPHON OpenCV转bm_image的时候，报错“Memory allocated by user, no device memory assigned. Not support BMCV!”

这种错误通常发生在soc模式下，所转换的Mat只分配了系统内存，没有分配设备内存，而bm_image要求必须有设备内存，因此转换失败。而在pcie模式下，接口内部会自动分配设备内存，因此不会报这个错误。
会产生这类问题的Mat通常是由外部分配的data内存attach过去的，即调用Mat(h, w, data) 或者Mat.create(h,w, data)来创建的，而data!=NULL,由外部分配。

对于这种情况，因为bm_image必须要求设备内存，因此解决方案有: