android minicap web,airtest源码分析—android端的四种屏幕截取方式分析

概要

airtest的核心原理其实就是图像识别比较，写脚本的时候我们已经保存了截图，接下来是获取屏幕的整体图像并比较，那么这篇就是分析下android端的图像截取方法。

android端的截图方式

接下来看看airtest对android端提供的4种截图方式。

在core/android/constant.py文件定义了4种android的链接方式：

class CAP_METHOD(object):

MINICAP = "MINICAP"

MINICAP_STREAM = "MINICAP_STREAM"

ADBCAP = "ADBCAP"

JAVACAP = "JAVACAP"

这4种方式分别对应着IDE的4种链接方式，默认不勾选是MINICAP_STREAM模式,初始化代码如下

def __init__(self, serialno=None, host=None,

cap_method=CAP_METHOD.MINICAP_STREAM,

touch_method=TOUCH_METHOD.MINITOUCH,

ime_method=IME_METHOD.YOSEMITEIME,

ori_method=ORI_METHOD.MINICAP,

display_id=None,

input_event=None):

MINICAP_STREAM & MINICAP

/core/android/minicap.py

minicap是个什么玩意呢，源码中有一段话是这样写的：

super fast android screenshot method from stf minicap.

reference https://github.com/openstf/minicap

打开官网得知了这是stf框架内置的一个截图工具，通过建立websocket连接，支持实时传输手机屏幕stream到PC端，先看看默认的MINICAP_STREAM方式，对应minicap.py的get_frame_from_stream方法,MINICAP对应的是get_frame方法。

@retry_when_socket_error

def get_frame_from_stream(self):

"""

Get one frame from minicap stream

Returns:

frame

"""

if self._update_rotation_event.is_set():

LOGGING.debug("do update rotation")

self.teardown_stream()

self._update_rotation_event.clear()

if self.frame_gen is None:

self.frame_gen = self.get_stream()

return six.next(self.frame_gen)

这个方式就是通过截取minicap获取的截屏流中的一帧数据，并返回，具体实现了以下几个步骤：

adb forward 设置airtest和手机端的端口映射关系

建立一个socket持续获取minicap截取的截图数据

上面这个就是默认的截取方式

接下来再来看看get_frame这个方式：

@on_method_ready('install_or_upgrade')

def get_frame(self, projection=None):

"""

Get the single frame from minicap -s, this method slower than `get_frames`

1. shell cmd

1. remove log info

1. rrn -> n ...

Args:

projection: screenshot projection, default is None which means using self.projection

Returns:

jpg data

"""

params, display_info = self._get_params(projection)

if self.display_id:

raw_data = self.adb.raw_shell(

self.CMD + " -d " + str(self.display_id) + " -n 'airtest_minicap' -P %dx%d@%dx%d/%d -s" % params,

ensure_unicode=False,

)

else:

raw_data = self.adb.raw_shell(

self.CMD + " -n 'airtest_minicap' -P %dx%d@%dx%d/%d -s" % params,

ensure_unicode=False,

)

jpg_data = raw_data.split(b"for JPG encoder" + self.adb.line_breaker)[-1]

jpg_data = jpg_data.replace(self.adb.line_breaker, b"n")

return jpg_data

这个很清晰了，就是通过adb minicap -s命令获取一帧截图信息，这种方式的缺点就是比stream慢。

ADBCAP

adb截图就是很传统的方式了，直接看代码

def snapshot(self):

"""

Take the screenshot of the device display

Returns:

command output (stdout)

"""

if self.display_id:

raw = self.cmd('shell screencap -d {0} -p'.format(self.display_id), ensure_unicode=False)

else:

raw = self.cmd('shell screencap -p', ensure_unicode=False)

return raw.replace(self.line_breaker, b"n")

很直观了，就是直接一条adb命令：adb shell screencap -p [path]

JAVACAP

/core/android/javacap.py

剩下这个玩意，javacap

This is another screencap class, it is slower in performance than minicap, but it provides the better compatibility

这玩意是另一种提供更好的截图方式，性能比minicap差，但是提供更好的兼容性，这种方式需要安装一个yosemite.apk的文件，作为service，最终还是建立一个socket和airtest通讯，获取截图，看包名应该是airtest自己实现的一个基于socket通讯的截图方式，效率肯定是没有minicap采用ndk方式高了。

总结

那么分析到这里就结束了，总结一下，airtest提供4种截图方式，对比如下：

airtest截图方式

原理

效率

MINICAP_STREAM

基于NDK的持续性socket通讯

最高，默认采用

MINICAP

adb minicap -s命令获取单帧

一般

JAVA_CAP

基于socket，需要安装apk

一般，但是兼容性好

ADB

adb shell screenshot命令

差