团队论文 基于空间结构的杉木枝下高可视化模拟研究

原创 朱念福等 南京林业大学学报

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究 unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

专题报道

基于空间结构的杉木枝下高可视化模拟研究

朱念福 1,2 ,张怀清 1,2* ,崔泽宇 1 ,杨廷栋 1 李永亮 1刘 华 1

1.中国林业科学研究院资源信息研究所;2.国家林业和草原局林业遥感与信息技术重点实验室

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

枝下高是指树冠第一个活枝距离地面的高度,是反映树木生长活力和冠形特征的重要指标。目前林木生长可视化模拟主要包括结构功能模型对不同发育阶段的单木细节形态模拟,以及基于林木生长模型和三维渲染模拟等形式,仅通过树木模型整体的伸缩和替换来实现,均未考虑枝下高自身的变化规律,无法很好体现林木形态的差异性,也无法表现林木生长过程中枝下高的动态变化。

目前,国内外学者对枝下高模型研究中主要考虑单木因子(树高、胸径等)、林分统计因子(林分断面积、冠幅竞争因子等)和立地指数对枝下高的影响。如 Ritchie等以冠幅竞争因子、林分断面积和立地指数等预测变量,构建了美国太平洋西北地区14个树种的枝下高模型;Rijal等引入树木尺度因子和竞争因子,构建了北美阿卡迪地区13个树种的枝下高模型;马载阳等构建了湖南省黄丰桥国有林场的杉木枝下高模型:卢康宁分析了杉木分枝生物量与分枝结构的关系,构建与分枝轮数有关的杉木枝下高模型,这些模型均需要林木分枝的生长轮数和年龄信息支持,未考虑林木空间结构对枝下高的影响。枝下高变化主要通过自然整枝实现,除了自身因素,还受周围环境竞争影响,而对象木与其邻近木组成的空间结构对林木生长和自然整枝具有较大影响。

本期论文推荐的作者以杉木( Cunninghamia lanceolata )人工林为例,考虑林木自身属性(胸径、树高等)和林木所处空间结构单元对枝下高的影响,构建出基于空间结构的枝下高模型。应用林分三维模型实时生成方法,构建出枝干可控的杉木三维模型。根据单木初始胸径,通过单木胸径连年生长量模型、树高曲线模型、冠幅面积估计模型和考虑空间结构的枝下高模型拟合林木生长状态,结合Unity3D渲染引擎,最终实现杉木枝下高的可视化模拟。

下面跟学报君一探究竟!

作者简介

通讯作者

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

张怀清,男,1973年出生,中国林业科学研究院研究员,主要从事林草可视化和林草资源监测技术。

第一作者

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

朱念福,男,1995年出生,中国林业科学研究院森林经理学硕士研究生。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

关键词: 空间结构参数;枝下高;杉木人工林;可视化模拟

基金项目: 中国林科院资源信息研究所基本科研业务费专项(CAFYBB2019SZ004);国家自然科学基金项目(32071681) ;国家重点研发计划(2017YFDO600905)。

引文格式: 朱念福,张怀清,崔泽宇,等.基于空间结构的杉木枝下高可视化模拟研究[J].南京林业大学学报(自然科学版),2022,46(1):70-76.ZHU N F,ZHANG H Q,CUI Z Y,et al.Visual simulation of Chinese fir under branch height in consideration of spatial structue[J].Journal of Nanjing Forestry University (Natural Sciences Edition), 2022,46(1):70-76.DOI:10.12302/j.issn.1000-2006.202010037.

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

1目的

定量研究林分空间结构对杉木枝下高的影响,构建基于空间结构的枝下高模型,结合杉木生长模型,应用三维可视化技术,实现杉木枝下高可视化模拟。

2方法

利用湖南省黄丰桥国有林场6块杉木人工林临时样地的调查数据,选择5个常用枝下高基础模型,分析水平空间结构参数PH、垂直空间结构参数Pv和空间结构单元平均距离d DIS及其组合对枝下高的影响,构建综合指标较好且变量少的枝下高模型。基于林分三维模型实时生成方法,建立一种枝干可控的杉木三维模型;结合单木胸径连年生长量模型、树高-曲线模型和冠幅面积估计模型,模拟林木的生长状态。

2.1 试验区概况

试验区位于湖南省攸县黄丰桥国有林场(113°04'~113°43'E,26°43'~27°06’N),平均气温17.8 ℃,年均降水量为1 410.8 mm,无霜期292 d,年平均日照时间1 612 h,属于亚热带季风湿润气候。地貌以丘陵、山地为主,境内最高海拔1 270 m,最低海拔115 m,坡度一般为20° ~ 35°。森林覆盖率90%以上,树种以杉木、松类为主。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

▲树木位置相对坐标点

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

▲杉木三维模型示意

2.2 数据来源

采用常规的测树方法,使用卷尺测量胸径(DBH),使用测高杆测量树高和枝下高(HCB),使用塔尺测量冠幅(CW),利用全站仪测量样地内杉木的相对位置坐标(X,Y,Z)。根据2012年调查数据,选取地位指数相同的6块杉木人工林临时样地,共计2 498组。调查数据按照3∶1的比例随机划分拟合数据(1 874组)和检验数据(624组)。样地核心区(据边界5 m)属性分布如表1所示。

▼表1 样地数据统计量

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

2.3 空间结构因子构建

2.3.1 水平空间结构参数

在水平空间维度,对象木主要受到邻近木的冠幅挤压。邻近木的冠幅挤压抑制了对象木的树冠生长,促进对象木自然整枝。而且同样程度的冠幅挤压,对于不同大小林木的影响是有差异的,可以用邻近木与对象木胸径的比值(Dj/DI)来反映这种差异。据此建立表示对象木受最近4株邻木(n=4)冠幅挤压的水平空间结构参数PHi(图1A),表达式如下:

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

式中:Cwi为对象木i的冠幅;Cwj为邻近木j的冠幅;Dj为邻近木j的胸径;Di为对象木i的胸径;dij为对象木i与邻近木j的水平距离。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

▲图1 空间结构因子

2.3.2 垂直空间结构参数

在垂直空间维度,由于邻近木的上方遮盖,抑制了对象木的生长,促进对象木自然整枝。据此建立表示对象木受最近4株邻木上方遮盖的垂直空间结构参数Pvi(图1B),表达式如下:

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

式中:Hj为邻近木j的树高;Hi为对象木i的树高;ΔZ为邻近木j与对象木i的空间位置高度差。

2.3.3 空间结构单元平均距离

已有研究表明林分密度对枝下高有较为显著的影响,因此对象木与邻近木之间的距离显然对对象木的枝下高有影响。据此建立表示对象木与最近4株邻木的空间结构单元平均距离DDISI(图1C),表达式如下:

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

2.4 模型选择

木研究选择5个常用枝下高(HCB)与树高(H)、其他变量(X)的关系模型作为候选基础模型,各模型表达式见表2。

▼表2 枝下高模型

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

树高和胸径是预测枝下高最重要的两个变量。因此,本研究首先拟合只含树高和胸径变量的枝下高模型,选出最优的枝下高基础模型。本研究构建的空间结构参数表示了林木受到邻近木的竞争影响,一定程度上可以作为竞争因子。考虑竞争因子在常用枝下高模型中的表达形式,将空间结构因子线性加入所选择的枝下高基础模型中,选取综合指标较好的枝下高模型。考虑空间结构的枝下高模型表示如下:

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

式中:HCB为枝下高,DBH为胸径, f(H,X)为枝下高模型表达形式,H为树高,X为除树高外其他变量,Y为空间结构因子及组合, a 、b、c 、c1、c2、c3为方程参数。然后通过调查数据进行拟合和检验,最终选出综合指标较好的因子构建考虑空间结构的枝下高模型。

3结果

Logistic模型综合指标较好且模型参数可解释,选为基础模型;3个空间结构参数中垂直空间结构影响较为显著,将Pv加入到Iogistic模型中,改善了枝下高模型的拟合效果,决定系数R²从0.717提升到0.741 ,估计值的标准差从1.407 m减小到1.321 m,并使各项模型检验误差指标有所减小;构建的杉木三维模型可以动态调节枝干,实现了杉木枝下高模拟。

3.1 枝下高模型选取和检验

最初拟合只含H和DBH为变量的枝下高模型,选择最优的枝下高基础模型。枝下高基础模型的参数估计值、拟合优度和检验结果见表3。

▼表3 枝下高基础模型的拟合优度及检验结果

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

由表3可知,5个模型的参数估计值标准误均较小,说明模型各参数的稳定性较好。5个模型的相关系数(R²)相差不大,均在0.717左右,估计值标准差SEE为1.40~1.41 m。5个模型检验结果区别不明显,所有模型的平均误差(ME(为-0.29~ -0.30 m,平均相对误差(MAE)均小于1.02 m,总相对误差(TRE)为-2.90% ~-3.00% ,平均系统误差(MSE)为-2.90%~-3.20%。其中,模型A的总相对误差(TRE)和平均系统误差(MSE)均最小,分别为-2.906%和-2.931%,平均误差(ME)也较小,为-0.293 m,且模型A的表达形式相对简单,符合生物学意义,因此选用模型A作为加入空间结构参数的枝下高基础模型。

将空间结构因子加入模型A中,空间结构因子及其组合对应的拟合优度和模型检验结果见表4。由表4可知,加入空间结构因子后,枝下高模型的拟合优度得到了提升,各模型检验指标减小。其中PV、PH和d DIS对枝下高模型拟合效果的提升依次减小。加入的空间结构参数越多,对枝下高模型的拟合优度提升越大,同时,枝下高模型变得越复杂。

▼表4 加入空间结构参数的枝下高模型拟合优度及检验结果

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

注:一表示未加入空间结构因子,PH为水平空间结构参数, PV为垂直空间结构参数, dDIS为空间结构单元平均距离。

实际上,构建的3个空间结构参数是从不同角度分析对象木受邻近木的竞争影响,本质上都是反映周围林木与对象木对阳光和生长空间的竞争。考虑到模型中的变量越少越便于应用,因此,选择影响效果较为明显的垂直空间结构参数PV,枝下高模型的R²从0.717提升到了0.741 ,σ(SEE)从1.407 m减小到了1.321 m,σ(TRE)和σ(MSE)均在±3%范围内。最终建立的枝下高模型如下所示:

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

根据枝下高模型的预测值,绘制残差分布图(图2),由图2可知,残差的散点随机分布,模型拟合效果较好。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

▲图2 枝下高预测值的残差分布

3.2 杉木枝下高模拟

选择调查数据,利用胸径连年生长量模型获取每年的胸径数据,利用树高曲线模型获取树高数据,冠幅面积估计模型获取冠幅数据,利用枝下高模型获取枝下高数据。

根据林木当前状态,拟合10年后、20年后林木的生长状态。为了方便观察,显示基于前5条数据构建的杉木枝下高数据,并选取其中编号1-5号的数据(表5)。由表5可知,枝下高与树高相关性较高,树高较高的杉木,其枝下高也较高,且杉木受到垂直方向上的遮盖越严重,其枝下高也较高。

▼表5 枝下高预测数据

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

4结论

构建的枝下高模型可以应用于林木年龄和部分林分信息未知的杉木林中,体现了林木间的相互竞争影响;结合枝干可控的杉木三维模型,模拟杉木生长过程,形象直观地表现了杉木枝下高的变化,为进一步研究林分生长动态可视化模拟和森林经营可视化模拟提供支持。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

关注我们,更多精彩

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

高精度低成本游戏3D人脸重建方案,腾讯AI Lab ICCV 2023论文解读

机器之心专栏

机器之心编辑部

3D 人脸重建是一项广泛应用于游戏影视制作、数字人、AR/VR、人脸识别和编辑等领域的关键技术,其目标是从单张或多张图像中获取高质量的 3D 人脸模型。借助摄影棚中的复杂拍摄系统,当前业界成熟方案已可得到媲美真人的毛孔级精度的重建效果 [2],但其制作成本高、周期长,一般仅用于 S 级影视或游戏项目。

近年,基于低成本人脸重建技术的交互玩法(如游戏角色捏脸玩法、AR/VR 虚拟形象生成等)受到市场欢迎。用户只需输入日常可获取的图片,如手机拍摄的单张或多张图片,即可快速得到 3D 模型。但现有方法成像质量不可控,重建结果精度较低,无法表达人脸细节 [3-4]。如何在低成本条件下得到高保真 3D 人脸,仍是一个未解的难题。

人脸重建的第一步是定义人脸表达方式,但现有主流的人脸参数化模型表达能力有限,即使有更多约束信息,如多视角图片,重建精度也难以提升。因此,腾讯 AI Lab 提出了一种改进的自适应骨骼 - 蒙皮模型(Adaptive Skinning Model,以下简称 ASM)作为参数化人脸模型使用,利用人脸先验,以高斯混合模型来表达人脸蒙皮权重,极大降低参数量使其可自动求解。

测试表明,ASM 方法在不需要训练的前提下仅使用少量的参数,即显著提升了人脸的表达能力及多视角人脸重建精度,创新了 SOTA 水平 。相关论文已被 ICCV-2023 接收,以下为论文详细解读。

论文题目:ASM: Adaptive Skinning Model for High-Quality 3D Face Modeling

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

论文链接:https://arxiv.org/pdf/2304.09423.pdf

研究挑战:低成本、高精度的 3D 人脸重建难题

从 2D 图像得到信息量更大的 3D 模型,属于欠定问题存在无穷多解。为了使其可解,研究者将人脸先验引入重建,降低求解难度的同时能以更少的参数来表达人脸 3D 形状,即参数化人脸模型。当前大部分参数化人脸模型都是基于 3D Morphable Model (3DMM) 及其改进版,3DMM 是 Blanz 和 Vetter 在 1999 年首次提出的参数化人脸模型 [5]。文章假设一张人脸可以通过多个不同的人脸线性或非线性组合得到,通过收集数百个真实人脸的高精度 3D 模型构建人脸基底库,进而组合参数化人脸来表达新的人脸模型。后续研究通过收集更多样的真实人脸模型 [6, 7],以及改进降维方法来优化 3DMM [8, 9]。

然而,3DMM 类人脸模型的鲁棒性高但表达能力不足。尽管他能够在输入图像模糊或有遮挡的情况下稳定地生成精度一般的人脸模型,但当使用多张高质量图像作为输入时,3DMM 表达能力有限,不能利用上更多的输入信息,因此限制了重建精度。这种限制源于两方面,一是方法本身的局限性,二是该方法依赖于人脸模型数据的收集,不仅数据获取成本高,且因人脸数据的敏感性,在实际应用中也难以广泛复用。

ASM 方法:重新设计骨骼 - 蒙皮模型

为了解决现有 3DMM 人脸模型表达能力不足的问题,本文引入了游戏业界常用的 “骨骼 - 蒙皮模型” 作为基准人脸表达方式。骨骼 - 蒙皮模型是游戏与动画制作过程中表达游戏人物角色脸型与表情的一种常见的人脸建模方式。它通过虚拟的骨骼点与人脸上的 Mesh 顶点相连,由蒙皮权重决定骨骼对 Mesh 顶点的影响权重,使用时只需要控制骨骼的运动即可间接控制 Mesh 顶点的运动。

通常情况下,骨骼 - 蒙皮模型需要动画师进行精确的骨骼放置与蒙皮权重绘制,具有高制作门槛与长制作周期的特点。但是现实的人脸中不同的人骨骼与肌肉的形状具有较大差异,一套固定的骨骼 - 蒙皮系统难以表达现实中多种多样的脸型,为此,本文在现有的骨骼 - 蒙皮基础上进行进一步设计,提出了自适应骨骼 - 蒙皮模型 ASM,基于高斯混合蒙皮权重(GMM Skinning Weights)与动态骨骼绑定系统(Dynamic Bone Binding)进一步提高了骨骼 - 蒙皮的表达能力与灵活度,为每一个目标人脸自适应生成独有的骨骼 - 蒙皮模型,以表达更为丰富的人脸细节

为了提高骨骼 - 蒙皮模型对于建模不同人脸时的表达能力,ASM 对骨骼 - 蒙皮模型的建模方式进行了全新的设计。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

图 1:ASM 整体框架

骨骼 - 蒙皮系统通常基于线性混合蒙皮(Linear Blend Skinning, LBS)算法,通过控制骨骼的运动(旋转、平移、缩放)来控制 Mesh 顶点的变形。传统的骨骼 - 蒙皮包含两个部分,即蒙皮权重矩阵与骨骼绑定,ASM 对这两部分分别进行了参数化,以实现自适应的骨骼 - 蒙皮模型。接下来会分别介绍蒙皮权重矩阵与骨骼绑定的参数化建模方法。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

公式 1:传统骨骼 - 蒙皮模型的 LBS 公式

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

公式 2:ASM 的 LBS 公式

高斯混合蒙皮权重(GMM Skinning Weights)

蒙皮权重矩阵是一个 mxn 维的矩阵,其中 m 为骨骼数量,n 为 Mesh 上的顶点数量,该矩阵用于存放每一根骨骼对每一个 Mesh 顶点的影响系数。一般来说蒙皮权重矩阵是高度稀疏的,例如在 Unity 中,每个 Mesh 顶点只会被最多 4 根骨骼影响,除了这 4 根骨骼外,其余骨骼对该顶点的影响系数为 0。传统的骨骼 - 蒙皮模型中蒙皮权重由动画师绘制得到,并且蒙皮权重一旦得到,在使用时将不再发生改变。近年来有工作 [1] 尝试结合大量数据与神经网络学习如何自动生成蒙皮权重,但这样的方案有两个问题,一是训练神经网络需要较大量的数据,如果是 3D 人脸或者蒙皮权重的数据则更难获得;二是使用神经网络建模蒙皮权重存在较为严重的参数冗余。是否存在一种蒙皮权重的建模方式,在不需要训练的前提下使用少量的参数即可完整表达整张人脸的蒙皮权重呢?

通过观察常见的蒙皮权重可发现以下性质:1. 蒙皮权重局部光滑;2. 离当前骨骼位置越远的 Mesh 顶点,对应的蒙皮系数通常也越小;而这样的性质与高斯混合模型(GMM)非常吻合。于是本文提出了高斯混合蒙皮权重(GMM Skinning Weights)将蒙皮权重矩阵建模为基于顶点与骨骼某个距离函数的高斯混合函数,这样就能使用一组 GMM 系数表达特定骨骼的蒙皮权重分布。为了进一步压缩蒙皮权重的参数量,我们将整个人脸 Mesh 从三维空间转移到 UV 空间,从而只需要使用二维 GMM 并且使用顶点到骨骼的 UV 距离就能计算出当前骨骼对特定顶点的蒙皮权重系数。

动态骨骼绑定(Dynamic Bone Binding)

对蒙皮权重进行参数化建模不仅使我们能用少量参数表达蒙皮权重矩阵,还使我们在运行时(Run-Time)调整骨骼绑定位置成为了可能,由此,本文提出了动态骨骼绑定(Dynamic Bone Binding)的方法。与蒙皮权重相同,本文将骨骼的绑定位置建模为 UV 空间上的一个坐标点,并且能够在 UV 空间中任意移动。对于人脸 Mesh 的顶点,能够通过很简单地通过预定义好的 UV 映射关系将顶点映射为 UV 空间上的一个固定坐标。但是骨骼并没有预先定义在 UV 空间中,为此我们需要将绑定的骨骼从三维空间转移到 UV 空间上。本文中这个步骤通过对骨骼与周围顶点进行坐标插值实现,我们将计算得到的插值系数应用在顶点的 UV 坐标上,就能获得骨骼的 UV 坐标。反过来也一样,当需要将骨骼坐标从 UV 空间转移到三维空间时,我们同样计算当前骨骼的 UV 坐标与临近顶点的 UV 坐标的插值系数,并将该插值系数应用到三维空间中同样的顶点三维坐标上,即可插值出对应骨骼的三维空间坐标。

通过这种建模方式,我们将骨骼的绑定位置与蒙皮权重系数都统一为了 UV 空间中的一组系数。当使用 ASM 时,我们将人脸 Mesh 顶点的形变转变为求解 UV 空间中骨骼绑定位置的偏移系数、UV 空间中的高斯混合蒙皮系数与骨骼运动系数三者的组合,极大地提高了骨骼 - 蒙皮模型的表达能力,实现更为丰富的人脸细节的生成

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

表 1:ASM 每根骨骼的参数维度

研究结果:人脸表达能力与多视角重建精度达到 SOTA 水平

对比不同参数化人脸模型的表达能力

我们使用参数化人脸模型注册高精度人脸扫描模型的方式(Registration),将 ASM 与传统的基于 PCA 方法的 3DMM(BFM [6],FLAME [7],FaceScape [10])、基于神经网络降维方法的 3DMM(CoMA [8], ImFace [9])以及业界前沿的骨骼 - 蒙皮模型(MetaHuman)进行了对比。结果指出,ASM 在 LYHM 与 FaceScape 两个数据集上的表达能力均达到了 SOTA 水平。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

表 2:LYHM 与 FaceScape 的 registration 精度

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

图 2:LYHM 与 FaceScape 上 registration 精度的误差分布

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

图 3:LYHM 与 FaceScape 上 registration 的可视化结果与误差热力图

多视角人脸重建中的应用

我们使用了 Florence MICC 的数据集测试了 ASM 在多视角人脸重建任务上的表现,在 Coop(室内近距离摄像头,人物无表情)测试集上的重建精度达到了 SOTA 水平。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

图 4:Florence MICC 数据集上的 3D 人脸重建结果

我们还在 FaceScape 数据集上测试了多视角重建任务中图片数量对重建结果的影响,结果可以看到当图片数量在 5 张左右时 ASM 相比其他的人脸表达方式能够实现最高的重建精度。

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

表 3:FaceScape 上不同输入数量的多视角重建结果精度

unity3d论文 团队论文  基于空间结构的杉木枝下高可视化模拟研究

图 5:FaceScape 上不同输入数量的多视角重建可视化结果与误差热力图

总结及展望

在低成本条件下获得高保真人脸这一行业难题上,本研究迈出了重要一步。我们提出的新参数化人脸模型显著增强了人脸表达能力,将多视角人脸重建的精度上限提升到了新的高度。该方法可用于游戏制作中的 3D 角色建模、自动捏脸玩法,以及 AR/VR 中的虚拟形象生成等众多领域。

在人脸表达能力得到显著提升之后,如何从多视角图片中构建更强的一致性约束,以进一步提高重建结果的精度,成为了当前人脸重建领域的新瓶颈、新挑战。这也将是我们未来的研究方向。

参考文献

[1] Noranart Vesdapunt, Mitch Rundle, HsiangTao Wu, and Baoyuan Wang. Jnr: Joint-based neural rig representation for compact 3d face modeling. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XVIII 16, pages 389–405. Springer, 2020.

[2] Thabo Beeler, Bernd Bickel, Paul Beardsley, Bob Sumner, and Markus Gross. High-quality single-shot capture of facial geometry. In ACM SIGGRAPH 2010 papers, pages 1–9. 2010.

[3] Yu Deng, Jiaolong Yang, Sicheng Xu, Dong Chen, Yunde Jia, and Xin Tong. Accurate 3d face reconstruction with weakly-supervised learning: From single image to image set. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, pages 0–0, 2019.

[4] Yao Feng, Haiwen Feng, Michael J Black, and Timo Bolkart. Learning an animatable detailed 3d face model from in-the-wild images. ACM Transactions on Graphics (ToG), 40 (4):1–13, 2021.

[5] Volker Blanz and Thomas Vetter. A morphable model for the synthesis of 3d faces. In Proceedings of the 26th annual conference on Computer graphics and interactive techniques, pages 187–194, 1999.

[6] Pascal Paysan, Reinhard Knothe, Brian Amberg, Sami Romdhani, and Thomas Vetter. A 3d face model for pose and illumination invariant face recognition. In 2009 sixth IEEE international conference on advanced video and signal based surveillance, pages 296–301. Ieee, 2009.

[7] Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4d scans. ACM Trans. Graph., 36 (6):194–1, 2017.

[8] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J Black. Generating 3d faces using convolutional mesh autoencoders. In Proceedings of the European conference on computer vision (ECCV), pages 704–720, 2018.

[9] Mingwu Zheng, Hongyu Yang, Di Huang, and Liming Chen. Imface: A nonlinear 3d morphable face model with implicit neural representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20343–20352, 2022.

[10] Haotian Yang, Hao Zhu, Yanru Wang, Mingkai Huang, Qiu Shen, Ruigang Yang, and Xun Cao. Facescape: a large-scale high quality 3d face dataset and detailed riggable 3d face prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 601–610, 2020.

相关问答

英语翻译校园网络已经成为校园内学习,工作和生活所不可或缺的...

[回答]Campusnetworkhasbecomethecampuslearning,workandessentiallifesupportingenvironment.Vario...

2017年人工智能国内领域收购案,有哪些企业参与了?

2017年是人工智能大跃进的一年,光是第一季度,就有34家AI创业公司被收购。有很多公司并不知名,一家一家总结也过于繁琐,我在这里对主要的一些收购案做个总结。...

康德的《纯粹理性批判》说的是什么?

《纯理性批判》整本书不管中文版英文版德文版都没看完,实在看不下去。但关于康德十二范畴还是有些少理解。大家可以上wikipedia.org查category(kant)词条。康...

如何做好帧同步下的移动系统?

目前的做法是通过Unity自己的Physics.BoxCast来做,玩家输入的时候,向输入方向投射碰撞盒,然后和障碍物碰撞并计算最远可以移动的位置。简单的地形,效果也还凑...

怎么把中文论文翻译成英文?艺术的审美价值与评价,审美评价...

Theartofaestheticvalueandevaluation,aestheticevaluationoftheutilitarian,aestheticevalua...