智客公社
标题:
利用图像识别技术解决非原生控件的定位问题
[打印本页]
作者:
fengxuan1367
时间:
2018-11-10 22:03
标题:
利用图像识别技术解决非原生控件的定位问题
缘起
前天同桌妹纸问一个控件怎么定位的问题,我张口就来,ID,xpath。。。。。妹纸说这些我都试过了,还是无法定位,不信我Debug给你看。N种方法尝试后,只能接受现实,非原生控件,于是老脸一红,告诉妹纸,这是非原生控件,无法通过常规方式定位。搜索了一下,很多帖子都反映过这个问题,但是都没给出解决策略。不知道这些小伙伴最终有没有解决。遂决定,吃个大闸蟹,研究一下看能否解决。
非原生控件给自动化带来的痛点
View里控件都定位不到
控件随机变化(如支付密码键)
密码键盘每次页面打开或者页面刷新键位都不一样
[attach]64506[/attach]
常规定位方式无法识别
智能货架,经常变换的显示位置
[attach]64507[/attach]
常规解决方式
坐标大法:但是坐标大法对于有些随机变化密码键就无法操作了。
开发配合:给特定的app包,解除安全键盘。这种操作无异于饮鸩止渴。
图像识别尝试
由于我们页面控件不会像验证码那么多干扰难识别,现在图形识别技术Java,Python,C++等都非常成熟。一通百度后在OpenCV 发现了matchTemplate 方法,在图片中找指定的图片。主要用的以下两种方法:
使用OpenCV函数 matchTemplate 在模板块和输入图像之间寻找匹配,获得匹配结果图像
使用OpenCV函数 minMaxLoc 在给定的矩阵中寻找最大和最小值(包括它们的位置).
具体实现
截取图
滑动到非原生控件,使元素可见
截取截目画面即为原图像
用画图工具打开原图像(不要人为放大或者缩小原图像),截取非原生控件的图像即为模板图像
原图像: [attach]64508[/attach]
如下用画图工具打开,保证分别率不变下截取目标图像作为模板图像 [attach]64509[/attach]
模板图像(非原生控件图像) [attach]64510[/attach]
取坐标
执行OpenCV函数 matchTemplate获取坐标
为方便公司同事和社区伸手党使用,直接上码
LvmamaKit代码工程Git传送门
,调用LvmamaKit.find2BElementPoint4Debug会在原图像上标识出是否匹配成功
第二步成功后,调用LvmamaKit.find2BElementPoint返回Json格式坐标
回显示意图,忽略图片失真 [attach]64511[/attach] 5.返回坐标,自行计算出中心坐标 {"x":"309","y":"854","width":"105","height":"82"} [attach]64512[/attach]
点坐标
拷贝返回的坐标,进行相对计算
点击相对坐标,完成你的自动化用例
识别密码
1.密码键盘,1-9随机变,图像识别妥妥的搞定。 示意图 [attach]64513[/attach]
搞定收工
明天可以给妹子解决非原生控件的定位问题咯
参考资料
中文OpenCV 官网教程
图片部分匹配技术之 openCV 与 javaCV
【解锁UI自动化新姿势】- Macaca+计算机视觉
图像识别 OpenCV 解决安全键盘输入密码问题
[attach]64514[/attach]
原文地址:https://testerhome.com/topics/16569
↙↙↙
阅读原文
可查看相关链接,并与作者交流
欢迎光临 智客公社 (http://bbs.cnaiplus.com/)
Powered by Discuz! X3.4