Face Style Transfer in Live Streaming and Short Video Applications

本文介绍了人脸风格化技术的整个流程，以及该技术在直播、短视频等场景下的应用。该技术可作为氛围营造、提高观感的有效手段，也可在买家秀等图文场景下起到人脸隐私保护、增添乐趣等作用。

前言

随着元宇宙、数字人、虚拟形象等概念的爆发，各种数字化协同互动的泛娱乐应用也在不断的落地。例如，在一些游戏中，玩家成为虚拟艺人参与到高还原度的现实艺人日常工作中，并会在特定情况下，与虚拟艺人在人脸表情等层面上形成强映射提升参与感。而由阿里巴巴天猫推出的超写实数字人AYAYI和井柏然联合“带逛”的杂志《MO Magazine》，则打破传统的平面阅读体验，以虚实结合的形式让读者获得沉浸式体验。

而这些泛娱乐应用场景中，“人”必然是首要考虑的一步。而人工设计的数字、动画形象，存在过于“抽象”、代价高昂、缺乏个性化等问题。因此在人脸数字化上，我们通过研发具有良好控制感、ID感、风格化程度的人脸风格化技术，实现风格定制化的人脸形象切换。该项技术不仅可以在直播、短视频等娱乐消费场景下作为氛围营造、提高观感的有效手段，也可在买家秀等图文场景下起到人脸隐私保护、增添乐趣等作用。更进一步的想象，若不同的用户聚集在某个数字社区内，用该社区风格的数字形象聊天社交（例如“双城之战吧”的用户在元宇宙内用双城之战风格化形象友好交流），那是多具有代入感的事情。

而为了将人脸风格化这项技术落地到我们的直播、买家秀、卖家秀等不同的泛娱乐业务场景，我们做到了：

低成本生产不同人脸风格化编辑的模型（本文所展示的所有效果均在没有任何设计资源的投入下实现的）；

适当进行风格编辑以配合设计、产品、运营进行风格选型；

能够在人脸ID感和风格化程度之间做倾斜与平衡；

保证模型的泛化性，以适用于不同的人脸、角度、场景环境；

在保证清晰度等效果的前提下，降低模型对算力的要求。

接下来，我们先看一下demo，然后再介绍我们整个技术流程：感谢我们的产品mm——多菲~