请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册

快捷登录

搜索

只需1美元!教你给MacBook装上触摸屏

只需1美元!教你给MacBook装上触摸屏-1.jpg

大数据文摘出品

来源:anishathalye

编译:洪颖菲、秦泽宇、钱天培

1美元可以做什么呢?买一瓶水,买半个冰激凌,或者让你用上半小时的GPU。但这些都不够酷!

明天,文摘菌决议,只用1美元,给MacBook装上触摸屏!

你没有听错,只需1美元!用上1美元的硬件,和一点计算机视觉原理,一个来自MIT的小哥Anish Athalye在与几个队友的合作下,就将MacBook变成了触摸屏。


只需1美元!教你给MacBook装上触摸屏-2.jpg




此项目曾经在Github上开源,赶紧来学一学!


只需1美元!教你给MacBook装上触摸屏-3.jpg




Github链接:

https://github.com/bijection/sistine

基本原理

该项目背后的基本原理很简单。从一个特定角度看屏幕,屏幕会反光,你可以经过检查手指能否碰触到本人的镜像来判别手指能否接触到屏幕。

我的队友Kevin在初中就发现了这种现象,并建立了ShinyTouch这一软件。该软件只需应用外部网络摄像头,就可以轻松构建一个触摸输入系统。

ShinyTouch软件链接:

https://antimatter15.com/project/shinytouch/

我们想试试能否可以将这个系统进一步简化,并使其在没有外部网络摄像头的状况下工作。我们的想法是,在MacBook的内置网络摄像头前改装一个小镜子,这样网络摄像头就会以锐角向下拍摄电脑屏幕。相机可以看到手指悬停或触摸屏幕,这样我们就可以运用计算机视觉将视频输入转换为触摸事情。

硬件

我们的硬件设置很简单。我们所需求的只是在网络摄像头后面以适当的角度放置一面镜子。这是我们的物料清单:
    一个小镜子硬纸盘门铰链热熔胶

经过一番反复实验之后,我们决议运用刀和热胶枪在几分钟内完成设计。
只需1美元!教你给MacBook装上触摸屏-4.jpg

这个是最后的成品:
只需1美元!教你给MacBook装上触摸屏-5.jpg

手指检测

处理视频帧的第一步是检测手指。以下是网络摄像头看到的典型示例:
只需1美元!教你给MacBook装上触摸屏-6.jpg

手指检测算法需求找到触摸/悬停点以停止进一步处理。我们目前的方法是运用经典计算机视觉技术,处理方式包括以下步骤:
    经过肤色停止过滤,并设置相应的二进制阈值;找到手指及反射轮廓;找出两个最大的轮廓并确保轮廓在程度方向上堆叠,而较小的轮廓在较大的轮廓上方;将触摸/悬停点标识为衔接较大轮廓顶部和较小轮廓底部的线的中点;根据两个轮廓之间的垂直间隔区分触摸和悬停。
只需1美元!教你给MacBook装上触摸屏-7.jpg

下面显示的是将此过程运用于网络摄像头的每一帧的输入结果。手指和反射(轮廓)以绿色标出,边界框以红色显示,触摸点以红色显示。

映射和校准

处理输入的最后一步是将触摸/悬停点从网络摄像头坐标映射到屏幕上的坐标。这两者是与单应性相关的。我们经过校准,即找到用户触摸屏幕上的特定点,得到单应矩阵。在我们搜集了相应的网络摄像头坐标的数据后,可以运用RANSAC准确地得到其单应性。这为我们提供了一个投影矩阵,这个矩阵可以将网络摄像头得到的坐标映射到屏幕上的坐标。
只需1美元!教你给MacBook装上触摸屏-8.jpg

下面的动图演示了校准过程,其中用户必须在屏幕周围跟随绿点移动手指。该动图包含一些调试过程,这些过程会覆盖网络摄像头的实时视频。网络摄像头坐标中的触摸点以红色显示。在校准过程完成之后,投影矩阵会以红线的方式显示出来,并且软件切换到以估测点为蓝色的形式。

运用

在当前的原型中,我们将悬停和触摸转换为鼠标事情,使现有运用程序可以随时随地启用触摸功能。
只需1美元!教你给MacBook装上触摸屏-9.jpg

假如我们编写本人的触控式运用程序,我们可以直接运用触摸数据,如悬停高度等信息。

结论

我们的项目是一个概念性项目,你只需1美元的硬件即可将笔记本电脑变成触摸屏。作为一个原型,它的效果非常好!

经过一些简单的修正,例如更高分辨率的网络摄像头(我们的是480p)和一个允许网络摄像头捕捉整个屏幕的曲面镜,Sistine可以成为一个适用的低成本触摸屏系统。

相关报道:

https://www.anishathalye.com/2018/04/03/macbook-touchscreen/
回复

使用道具 举报

大神点评22

zey77433 2019-8-21 14:04:01 显示全部楼层
台式电脑咋办?
回复

使用道具 举报

会哭的雨 2019-8-21 14:09:16 显示全部楼层
凶猛,凶猛,真是脑洞大开,最终效果放一边,不过这个思绪相当独特,值得深化研讨。
回复

使用道具 举报

夏至优己 2019-8-21 14:13:36 显示全部楼层
精度不够吧,达不到鼠标效果就是玩具
回复

使用道具 举报

n娃哈哈 2019-8-21 14:19:58 显示全部楼层
CPU跑到冒烟
回复

使用道具 举报

a1157815659 2019-8-21 14:28:05 显示全部楼层
步步高不是刚刚出来这个吗卖1000多还是5000多
回复

使用道具 举报

ojgkcsv53231 2019-8-21 14:38:18 显示全部楼层
受教了,原来还有这种方法得出坐标的。得想办法把延迟降低,那才会好用
回复

使用道具 举报

寕缺毋滥gg 2019-8-21 14:41:23 显示全部楼层
牛啊,MAC触屏还是很有吸引力的
回复

使用道具 举报

这么6?其他电脑可以?
回复

使用道具 举报

草绿色 2019-8-21 14:52:24 显示全部楼层
把R屏的镀膜摸花了,换屏很贵的
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册