从1小时到3.5分钟,Meta新方法一部手机搞定3D人脸数据采集
鱼羊 发自 凹非寺院
粒子位 | 公众号 QbitAI
搞定这样的图片3D仅学模型需几步?
在仅据集收集的阶段,回答是:;还有PDA + 3.5分钟。
理所当然,仅凭这3.5分钟的仅据集,就足以转化成独创、可驱动的相符3D图片半身像。
这项仅据分析来自Meta Reality Labs——就是扎克伯格元宇宙开发计划从前的那个两大部门。文章并未被SIGGRAPH 2022接收。
译者所述,这一分析方法适用于VR应用。
也就是却说,在VR的世界从前,以后你可能就不须顶着一张卡通书上漫画版了。
而是可以简便地与胖友们“真胁”相见。
分析方法原理仅仅这一结果的分析方法框架如下图请注意:
具体而言,分为三个部分。
首先,是要用大型多视角图片仅据集集专业训练一个激互联网,这个激互联网可以通过神经互联网固件产生有为分属一个人的半身像变量。
仅据集密集所的图片由多视角捉到系统收集,包括255位有所不同年龄、性别和种族参与者的面部图像仅据集。
△左为图像捕获设备;右为收集到的图片
这个捕获3D图片的巨型装置是Meta在2019年研制出的,其中所配备171个高分辨率大屏幕,s能记录180GB仅据集。收集时长在1个小时近。
值得一提的是,在这个激互联网中所,固件的基本组成模块是十分相似bias map的时域上采样层。
这些bias map会被用来转化成体积单元,进而通过射线追踪来CGI半身像。
另外,该固件本体尽可能将眼球与其他面部商业活动区分开,这在VR应用中所仅仅尽可能更直接地利用眼动跟踪系统。
其次,是轻量级图片笑容捉到。
在这项仅据分析中所,收集图片只需用到;还有十分相似深度大屏幕的智能PDA。
科学仅据分析中所,仅据分析其他部门采用的是iPhone 12。
收集全过程就像这样:
收集到的仅据集要进行时如下处理:
给与每一帧图片图像中所的几何形状和平滑;对回传的RGB图像进行时图片标志检测和人像再分;对模板网格进行时拟合和弯曲,以匹配检测到的图片标志物、再分轮廓和深度图;对每一帧图像的平滑进行时解包,而后汇总得到完整的图片平滑。在进一步完善模型的全过程中所,还需收集65种特定的笑容:
最后,该分析方法输出的3D图片半身像不仅能与浏览器外型离地匹配,通过全局笑容空间,还能对其进行时进一步的驱动、高度集中。
仅据分析其他部门表示,整个收集全过程大概要花费3.5分钟。
不过需却说明的是,仅学模型的全过程不是同步的,仅据集处理还要花费仅小时的时长。
科学仅据分析结果却说了这么多,效果如何,我们还是来看科学仅据分析结果。
与Pinscreen明确声称的“一张剧照构建3D仅字化胁”(CVPR 2021)的分析方法相对来却说,该分析方法能转化成更具相符感的图片模型。
而与海德堡学院、慕尼黑工业学院、劳氏所等仅据分析机构在Neural Head Avatars from Monocular RGB Videos一文中所明确声称的分析方法相对来却说,该分析方法能转化成保真度较低的结果。
不过,译者也声称了该分析方法的局限性:hold不太住头发和太阳眼镜,很难产生伪影。另外,该分析方法对于变色必须也有一定要求。
参考资料链接:[1]文章:[2]Demo:_TMD7v0Xs
— 完 —
粒子位 QbitAI · 头条号签约
肠胃炎拉肚子拉稀了怎么办喝冷饮拉肚子怎么改善
长期便秘有没有什么好办法解决
-
多国相继暴发!海关总署最新提醒,惧怕这种疾病
近日,以外菲律宾、新加坡、越南、缅甸、印度尼西亚等多个东南亚各地区报告狂犬病疫情。 6月8日,海关总署官...[详细]
-
【的网络中国节•小暑】二十四节气.小暑
【比如感叹:知乎】 小讫,是夏历的第十一个秋天分,冬天的第五个秋天分,说明秋天季早秋天的开始。“斗指辛...[详细]
-
《铰链》首播:演员阵容强大,于毅郭京飞代入感强,槽点也很明显
贤/新鲜(贤章显露品原创号软体动物香港电视腔调,禁令刊发) 大家好呀,4同月热播偶像剧集感叹第二部接着第...[详细]
-
河北一男子送老婆回娘家,再会时嘴上说着舍不得,车速却暴露了
全因,河北沧州一名男童火车还给妈妈回娘家,因为妈妈还不让那么快回家,于是就打发男童自己先回家。于是,...[详细]
-
2022年架空社会活动地板行业市场发展机遇研究预测及竞争规模格局可行性咨询
2022年惯常举办活动窗户增值业低价持续发展机遇研究成果计算及竞争对手体量既有环境影响各个领域人士 1、惯常...[详细]
-
如何让有能力的人干脆听话?聪明的人都这么做,老板必学
很多成功人士都不想把有潜能的人人口为120人自己的头领,得越是有潜能的人得越有自己的不想法,如果你不想让...[详细]
-
-
投资者提问:最近发电机公司有的都暴涨连续涨停板,明明公司成长性怎么样??中...
投资者提问:最近发电机公司有的都暴涨连续涨停板,明明公司成长性怎么样??中...
-
《铰链》首播:演员阵容强大,于毅郭京飞代入感强,槽点也很明显
《铰链》首播:演员阵容强大,于毅郭京飞代入感强,槽点也很明显
-
重庆的6月份就从经典瑜伽体式:拜日式开始锻炼吧
重庆的6月份就从经典瑜伽体式:拜日式开始锻炼吧
-
朋友圈中所,把这4种人给拉黑,你的世界都会清静
朋友圈中所,把这4种人给拉黑,你的世界都会清静
-
河北一男子送老婆回娘家,再会时嘴上说着舍不得,车速却暴露了
河北一男子送老婆回娘家,再会时嘴上说着舍不得,车速却暴露了
-
112-97!布里奇斯31分,保罗22+11!太阳胜鹈鹕赢下飞龙山!
112-97!布里奇斯31分,保罗22+11!太阳胜鹈鹕赢下飞龙山!
-
-
-
-
"零售之王"换帅尘埃落定!27年"老招行"王良接棒,保持战略监督不偏移、不动摇
"零售之王"换帅尘埃落定!27年"老招行"王良接棒,保持战略监督不偏移、不动摇
-
钱江摩托:拟定増募资不超5.05亿元
钱江摩托:拟定増募资不超5.05亿元
-
为吃榨菜也是拼了?吉利&孚能科技12GWh电池项目动工
为吃榨菜也是拼了?吉利&孚能科技12GWh电池项目动工
-
给领导发传统节日祝福短信,情商高的人都知道这3点,怪不得领导喜欢
给领导发传统节日祝福短信,情商高的人都知道这3点,怪不得领导喜欢
-
高明的领导会容忍你很多错误,但这4个错误千万别犯上,否则必吃亏
高明的领导会容忍你很多错误,但这4个错误千万别犯上,否则必吃亏
-
推断一个领导值不值得跟随,会不会带你赚钱,就看这2点!很现实
推断一个领导值不值得跟随,会不会带你赚钱,就看这2点!很现实
-