十三 白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
魔法变理想，酷炫又适用。
还记得两年前，Zach King(男巫)的爆红魔术吗？
不只从纸直接蹦出一个手机，还直接扔进了电脑里构成虚拟的天猫页面。
如今，不用去羡慕男巫了，人人都可以把身边的东西“扔到”电脑里，而且一部手机就能搞定！
这就是来自34岁法国设计师Cyril Diagne的最新AR黑科技——AR Cut & Paste，将身边的事物“一键”复制粘贴到电脑上，整个完成工夫不到10s。
比Ctrl+C和Ctrl+V还要直爽！
比如，拿手机扫一扫书上的模型图片，再把手机对准电脑屏幕，模型瞬间就复制到了电脑。
书上的人物也不在话下。
就有网友说道：连这个黑发小哥的头发都能辨认出来，太神奇了。
当然，手写的笔记，也可以复制粘贴到电脑中。
他在Github上分享了他的AR新技术，曾经狂揽7K颗小星星；而且在Reddit上分享不到14小时，就获得了近4K的点赞量。
即便Cyril表示目前仅仅能在Photoshop中完成，但将来——一定会有更多不同的输入方式。
只是如今，这项AR黑科技——魔法一样的新技术，只需你想，也能复刻。
简单四步，开启“复制粘贴”新世界
小哥非常热心肠在GitHub中，描画了AR Cut & Paste的“上手指南”。
首先要强调的是，这是一个研讨原型，而不是针对消费者或者Photoshop用户的工具。
AR Cut & Paste原型包含3个独立的模块。
移动运用 (The mobile app)
可以查看GitHub中/app文件夹，了解如何将App部署到手机中。
本地服务器 (The local server)
手机APP与Photoshop的接口。运用屏幕点(screenpoint)找到摄像机在屏幕上指向的地位。可查看/server文件夹，了解关于本地服务器的配置阐明。
目的检测 / 背景移除服务 (The object detection / background removal service)
目前，分明性检测和背景移除，是委托给一个外部服务来完成。假如直接在移动运用中运用相似DeepLap这样的技术会简单很多。但这还没有在这个repo中完成。
第一步：配置Photoshop
在Photoshop软件首选项 (Preferences)中，找到增效工具 (Plug-ins)。
点击启用远程衔接 (Remote Connection)，并设置密码。
这里需求确保一点，PS文档中的设置要与server/src/ps.py中的设置分歧，否则只会粘贴一个空层。
此外，文档需求一些背景，假如只是白色背景，SIFT能够没有足够才能来做一个正确的婚配。
第二步：设置外部分明性目的检测服务
如上所述，目前，必须运用BASNet-HTTP封装器(需求CUDA GPU)作为外部HTTP服务，部署BASNet模型。
将需求部署的服务URL来配置本地服务器。假如在本地服务的同一台计算机上运转BASNet，请确保配置不同的端口。
第三步：配置并运转本地服务器
这一步的详细文档，在GitHub项目中的/server文件夹中，包含“安装”和“运转”两个步骤。
安装代码如下：
virtualenv -p python3.7 venvsource venv/bin/activatepip install -r requirements.txt
运转代码如下：
python src/main.py \ —basnet_service_ip=”http://X.X.X.X“ \ —basnet_service_host=”basnet-http.default.example.com” \ —photoshop_password 123456
其中，BASNET_SERVICE_HOST是可选的，只要在运用Knative / Cloud Run等入口网关在平台上部署服务时才需求。
以及，用Photoshop远程衔接密码交换123456。
第四步：配置并运转移动App
安装代码如下：
npm install
然后更新component/Server.tsx中的IP地址，使其指向运转本地服务器的计算机IP：
3: const URL = “http://192.168.1.29:8080“;
运转代码如下：
npm start
OK！开启“复制粘贴”新世界，就是这么简单！
但假如你希望“知其然更知其所以然”，别眨眼，接着往下看。
如何做到隔空「复制粘贴」？
这个神奇的AR黑科技背后的次要技术，刚末尾采用的是一个叫做BASNet的分明目的检测方法。
这篇研讨入围了CVPR 2019，而且论文一作还是位华人小哥哥——秦雪彬，曾经于往年2月在加拿大阿尔伯塔大学拿到了博士学位，硕士就读于北京大学。
BASNet的核心框架如下图所示，次要由2个模块组成：
第一个模块是预测模块，这是一个相似于U-Net的密集监督的Encoder-Decoder网络，次要功能是从输入图像中学习预测saliency map。
第二个模块是多尺度残差细化模块(RRM)，次要功能是经过学习残差来细化预测模块得到的Saliency map，与groun-truth之间的残差，从而细化出预测模块的Saliency map。
而最近，这位设计师小哥哥在此基础上，针对背景移除义务，采用了更新的方法。
异样是来自秦雪彬团队，被Pattern Recognition 2020接收，这个方法叫做U2-Net，其框架如下图所示：
还与其它20个SOTA方法分别做了定量和定性比较实验，在结果上都获得了不错的结果。
在下面的定性实验中，也可以比较分明的看到，该方法所提取出来的目的，愈加细粒度和准确。
那么，北大校友的新方法，又是如何被法国设计师Cyril Diagne搞成黑科技运用的？
不想当程序员的设计师，不是一个好艺术家
缘由无他，Cyril Diagne就是这样一个懂程序、搞设计，关注前沿研讨停顿的艺术家呀。
假如你关注他的社交动态，也都是天马行空的。
是那种从“诗词歌赋”到“人生哲学”，从“服装设计”到AR黑科技的妙人。
Cyril Diagne，现居法国巴黎，除了设计师，程序员，还是洛桑艺术州立大学（ECAL）媒体于交互设计系的教授及主管。
2008年从巴黎Les Gobelins学校毕业当前，跟5位同窗创立了艺术机构，努力于完成科技与艺术之间的创意交互，也奠定了他当前的艺术生涯，注定与科技密不可分。
2015年起，Cyril加入了谷歌文明驻巴黎的实验室。
与此同时，他还不断的在Gitbub上分享他的新成果。此前，他就曾在Github上发布了一些适用的小工具。
比如，一个可在Instagram页面的照片上添加3D效果的chrome扩展程序。
在Web阅读器上直接用AR涂鸦你的脸。
输入图像转3D照片。
总之，想法多、阅历丰富，还懂技术和审美……
所以如今搞出AR复制这样的巧妙运用，打开一扇新大门，也让一众网友服服气气。
也算是把北大校友小哥的牛X研讨，推到了更牛X的产品运用入口。
虽然还只是牛刀小试，但前景却妥妥有限能够。
你觉得这项黑科技，还能怎样用？怎样玩？
上手传送门
https://github.com/cyrildiagne/ar-cutpaste/tree/clipboard
https://github.com/NathanUA/U-2-Net
http://openaccess.thecvf.com/content_CVPR_2019/papers/Qin_BASNet_Boundary-Aware_Salient_Object_Detection_CVPR_2019_paper.pdf
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一工夫获知前沿科技动态 |
