理想论坛_专业20年的财经股票炒股论坛交流社区 - 股票论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 3383|回复: 0

墙面也能变镜子,只看影子就能还原视频,MIT新算法让摄像头无死角

[复制链接]

9650

主题

9650

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
28966
发表于 2019-12-27 17:33 | 显示全部楼层 |阅读模式
  边策 十三 发自 凹非寺
  量子位 报道 公众号 QbitAI

  你在看电影,墙上的影子也在动。假如只让你看到这样一段视频,你能猜出来屏幕上播放的是什么吗?

  近来 MIT 野生智能实行室(CSAIL)斥地出的算法可以做到:

  而实在的视频是这样的:

  算法复原的结果只是暗昧了些,但已经能猜出视频的大略内容了。
  有了这套算法,便可以经过观察视频中阴影和几多图形之间的相互感化,猜测出光在场景中的传播方式,然后从观察到的阴影中估量隐藏的视频,以致看出人的概况。
  这类图像重建算法会有很多用处:自动驾驶汽车可以了解拐角处正在发生的事变,监控摄像头也可以发现在视田野的人。该论文已经被近来召开的 NeurIPS 2019 大会所收录。
  一、按照影子,复原看不见的死角
  鄙人面这个场景中,人玩弄玩具的镜头被隐藏,在人们一般视野范围内是没法看见的。

  我们唯一可以也许捕捉到的就是打在墙上的影子。
  MIT 的这项研讨就是仅仅利用这些影子,重新复原隐藏视频的原貌

  算法对场景中的光芒传输做了猜测。
  下图左侧是经过算法估量出来的阴影,而右侧则是现实场景中的阴影。

  按照光芒传输的猜测和估量,便可以重建隐藏物体的活动情况。
  例如鄙人图中,隐藏在摄像头视野之外的人,双手不停的在做着活动。
  而我们可以也许观察到的只是图中左侧单个物体中光影的变化
  就是利用这样简单的光影变化,即可以重构出如图中右侧的视频。
  与隐藏视频相比,重构的视频已经可以大略再现双手活动的概况。

  按照房间杂物乱七八糟的影子,一样也可以复原下图隐藏视频中人物走动的大略概况。

  固然另有这样的。

  以及这样的。

  整体来说,MIT 的此次研讨,可以也许按照隐藏视频中的内容将光芒传输分手出来,从而对它做一个大略的估量。
  二、道理
  图像的影子具有线性叠加的特征。假如依次点亮隐藏的屏幕上的两个像素,并墙上的影子图像求和,结果应当和一次同时点亮两个像素时获得的图像类似。
  从数学上来看,不管是墙上的影子,照旧屏幕上的画面,都是矩阵。而合适线性叠加的特征,即是是在这两个矩阵之间做线性变更。
  我们无妨把这两者别看做两个矩阵Z和L,经过空间传输,画面L酿成了影子Z,这就相当于做了一次矩阵乘法,T是终间传输矩阵。
Z=TL

  题目是我们只看到了影子Z,对于T和L,我们一无所知。
  这篇论文的第一作者 Miika Aittala 说:“这就像是我告诉你,我正在考虑两个奥秘数字,它们的乘积为 80。你能猜出它们是什么吗?大如果 40 和2,或是 371.8 和 0.2152。”
  对于这个题目也是类似,而且我们在每个像素上城市有一样的困扰。怎样求出传输矩阵T成了题目标关键。
  假如我们晓得了光传输矩阵,那末求原图像L的操纵就酿成了最小化Z-TL2的最小二乘法题目。
  作者经过 DCT 和 PCA 方式丈量了T,然后经过求逆的方律例复了原始图像。

  是以晓得了T,接下来规复图像就好办了。
  可是这篇文章要搬弄更高的难度:若何在不晓得T的情况下规复图像。他们利用了旧年一篇Deep Image Prior论文中的新的矩阵分化方式。
  这篇文章已经被 CVPR 2018 收录,在 inpainting 题目上收到了不错的结果。
  过去也有一些矩阵分化方式,可是分化获得的矩阵一样平常都是低秩的,与图像差别很大,而且对初始值和优化的动力学都高度敏感,只能针对特定题目量身定制。
  而作者利用的矩阵分化方式里,CNN 随机初始化并“过拟合”,将两个噪声矢量映照到两个矩阵T和L,使它们的乘积与输入矩阵Z婚配。此进程将因式分化正则化为更靠近于图像的结构。

团结上面的脑筋

  Deep Image Prior
  作者首先描摹了一种基线方式,在晓得Z和L的情况下求T,实在就是求Z-TL2最小值的最小二乘法题目。
  利用了 Deep Image Prior 的方式,作者提出了一种在没法测得的光传输矩阵时,逆向求原图像的方式。逆向光传输矩阵的系统架构和数据活动以下图所示:

  其中左下角是存储在U中的左奇异矢量的一个样本。L和Q是两个卷积神经收集,此外块是多维张量或矩阵,其尺寸表示在边沿。
  L 和Q天生各自矩阵的卷积神经收集合张量,然后在随后的收集操纵中将结果重整为堆叠的矩阵表示形式,以便评价矩阵乘积。
  传输矩阵T的份量可以表示为从输入视频的奇异值分化(SVD)获得的底子图像的线性组合。这样做盘算服从高,又经过限制迭代和位于有用分化子空间中的解来指导优化。
  经过输入Z预先盘算的截断奇异值分化UΣVT带入到上面的收集合,盘算出T,再将盘算的 TL 与Z对照求得损失。
  是以题目标焦点就酿成了用 CNN 得出Q,使得(UQ)L≈Z。
  代码已开源
  这么好玩的技术,代码固然开源啦~
  GitHub 链接以下:
  https://github.com/prafull7/compmirrors
  这份文档中列出了“矩阵分化”和“光芒传输分化”的实现方式。
  安装
  1. git clone https://github.com/prafull7/compmirrorscd compmirrors
复制代码
  设备要求:Python 3.7,以及还需要 torch=1.0.1.post2、matplotlib、scipy、visdom 等包。
  矩阵分化
  这步的实今世码在 factorization_1d.py 文件。可用以下代码运转:
  1. python factorization_1d.py -T ./data/inputs_1d/lightfield.png -L ./data/inputs_1d/tracks_bg.png -o ./outdir_1d
复制代码
  光芒传输分化
  一次性练习实今世码在 factorization_light_transport.py 文件。可用以下代码运转:
  1. export FACTORIZE_DATA_DIR=/path/to/where/data/folders/export FACTORIZE_OUT_DIR=/path/to/output/directorypython factorization_light_transport.py -d ./data/light_transport/ -f FOLDER_NAME -ds DATASET_NAME -s SEQUENCE_NAME -dev DEVICE_NUMBER
复制代码
  三、仍然是“鸡生蛋,照旧蛋生鸡”题目
  固然这项技术可以也许重建被隐藏的内容,可是用户照旧需要提早晓得被隐藏的工具是存在的。
  用数学的角度来打个例如。
  A 和B相乘得 80,让你来猜A和B别离是哪两个数字。
  大如果 40 和2,也大如果 371.8 和 0.2152。
  在重建工作中,每个像素城市碰到这样的题目——有多种挑选
  要让盘算机来做挑选,那它就会做最简单的事变,获得的结果就是随机的图像。
  是以需要规定的算法来做练习。
  在此之前,量子位也曾报道过,经过墙壁漫反射的光影,来重建原始画面。
  墙上的漫反射以下图所示:
[img=900,auto]http://www.gz-slang.com/https://img2018.cnblogs.com/news/34358/201912/34358-20191227133915542-1148094757.png[/img]

  算法复原的图像则是:
[img=900,auto]http://www.gz-slang.com/https://img2018.cnblogs.com/news/34358/201912/34358-20191227133915553-250002005.jpg[/img]

  这个图像复原实行是,在房间中心随手放置了一个不明位置的遮挡物体,可所以一块不发光的板子,也可以是随手拽过来的一把椅子,阻挡一部分光芒到达墙壁
  而此次是完全按照墙上的影子来做图像复原工作。
  经过影子的变化可以大略了解房间里匿伏地域发生了哪些活动。
  研讨职员同时也对接下来的工作做了猜测:
未来,盼望可以也许进步系统的整体分辨率,并终极在不受控制的情况中测试该技术。
  传送门
  博客:
  https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206
  论文:
  https://arxiv.org/pdf/1912.02314.pdf
  代码:
  https://github.com/prafull7/compmirrors
  数据:
  http://compmirrors.csail.mit.edu/data/dots-sequence.tar

免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|理想论坛_专业20年的财经股票炒股论坛交流社区 - 股票论坛

GMT+8, 2020-7-9 07:17 , Processed in 0.154625 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表