京东利用BigDL构建大规模图像特征提取

68 阅读 0 评论 45 点赞

我是靠谱客的博主直率山水，最近开发中收集的这篇文章主要介绍京东利用BigDL构建大规模图像特征提取，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本文分享了英特尔和京东团队在 Apache Spark 和 BigDL 上使用深度学习构建大规模图像特征提取框架的经验和教训。

背景

图像特征提取广泛应用于图像相似性搜索、图片重复数据删除等。在采用 BigDL 之前，京东团队非常努力地在多图形处理单元（GPU）服务器和GPU集群设置上构建特征提取应用程序;但是，我们的经验表明，上述GPU解决方案存在许多缺点，包括：

1、GPU 集群中各个 GPU 卡的资源管理和分配非常复杂且容易出错（例如，由于 GPU 内存不足而导致内存不足（OOM）错误和程序崩溃）。

2、在多 GPU 服务器中，开发人员需要投入大量精力来手动管理数据分区、任务均衡、容错等。

3、基于 GPU 解决方案（例如 Caffe*）的应用程序具有许多依赖项，例如 CUDA*，这大大增加了生产部署和运营的复杂性;例如，人们经常需要为不同版本的操作系统或不同版本的GNU编译器集合（GCC）重建整个环境。

因此，在构建 GPU 应用程序管道时存在许多体系结构和技术挑战。

让我们来看看图像特征提取应用程序的体系结构。由于许多图像的背景可能非常复杂，并且图像中的主要对象通常很小，因此需要将主要对象与图片的背景分开，以便正确提取特征。当然，图像特征提取的框架可以分为两个步骤。首先，利用目标检测算法对主要目标进行检测，然后利用特征提取算法提取识别对象的特征。在这里，我们使用单次多盒