ARkit 面部捕捉节点的配置实操(美术)+ 查看更多
ARkit 面部捕捉节点的配置实操(美术)
+ 查看更多
作者:网站管理员
2021-06-14 15:47
技术概述:
采用 unreal 引擎 faceAR sample 的样本,iPhone X 实时获取用户表情,使用 ARKit 51个 blend shape 制作带表情的模型,然后导入 Unreal 中进行内容直播呈现与录制。
快速实现:导入 fbx 时清除 ue4 导入选项的骨骼预设、勾选 t0 姿势和 morph target(形变目标),然后将 content 中原模型的 mesh 和 skeleton 都删掉、替换成新模型。
手机上互动的 livelink face APP 已经发布了,适合虚拟制片、面捕。非常方便。
美术制作:
除了 51个 blendshape (morph target 形变目标在3D软件中制作,参照 ARKit 51 个blend shape),
如果使用骨骼系统,还需注意轴向:

在 CG girl 案例中,原本的带有形态键的脸部模型的朝向是y轴向前的,在模型中直接修改 local 坐标朝向会导致形态键表情混乱,因此需将脸部单独导出为 fbx,勾选y轴向上、z轴向前、应用变换。这样再导入 模型文件中进行重新绑定。
对于眼球的 local 坐标,因为眼球不存在形态键,可以直接在编辑模式下手动修改。(但后来发现眼球还是直接做进面部形态键中更方便,同理,jawOpen也应该借助骨骼让嘴巴张开并做进形态键中)。
骨骼命名方式:chest 为最上层父级,下图骨骼方向有问题。是从 ue4 里导出的 fbx .
眼球与头是一个物体。但我根据该模型制作的眼球仍然无法左右转动,不明白是不是骨骼朝向原因。——后来发现需要制作 joint pose 才可以把眼球动作融合进去。其实更简单的方法是把眼睛做进 blendshape ,对,尝试成功!


Ps:如果在 ue4 中运行时出现“ face tracking is not available on this device ”,那基本上就是蓝图编译错误,大概率是在动画蓝图中,改掉出错的部分就好了。
浏览次数:181