1. 研究目的与意义
目前直播、动画制作领域发展的如火如荼,虚拟主播/虚拟偶像等应用,除了互联网大厂早已布局外,诸多传统知名品牌也逐渐尝试引入虚拟 内容到自身品牌宣传活动中。虚拟偶像俨然成为互联网上广泛议论的话题之一。截止至2023年1月，国内高人气虚拟偶像“嘉然今天吃什么”在Bilibili上粉丝已经超过172.9万，视频播放量达到了1.6亿。此外,许多大型活动也邀请了虚拟主播/虚拟偶像进行参加。2021年10月，由北京智源人工智能研究院牵头，智谱AI和微软小冰公司参与开发的基于悟道2.0的虚拟学生“华智冰”问世，并加入清华大学计算机科学与技术系知识工程实验室学习，足以看出数字人的未来的广阔前景。
3D 姿态检测为健身、医疗、动作捕捉等应用开启了全新的设计机会。本设计主角“虚拟角色”在电影、娱乐等行业都有着极其广阔的前景。元宇宙的爆火，更为虚拟角色行业这把燃烧正旺的火加柴。在过去的两年里，Meta、Epic、腾讯等各大厂家纷纷布局元宇宙，有上百亿美元的资本融入元宇宙行业；在未来，VR/AR设备的普及，动作捕捉产生虚拟形象并应用于AR/VR势必是元宇宙中不可或缺的一部分。
虚拟角色并非是纯粹的真实或虚拟，它虽借助计算机实现角色渲染，但需要真人在现实中进行扮演。渲染而成的虚拟角色不仅拥有动画形象所具有的生动性，还具备由现实中的真人扮演所赋予的一定真实性，是偏向于二者兼顾的复合物。在我国3D电影、游戏互动、虚拟现实的出现，不仅丰富了人们的娱乐活动，也带动了动作捕捉系统行业的发展。
2. 课题关键问题和重难点
主要目标：利用CNN(循环神经网络)的TensorFlow.js模型和机器学习模型应用框架MediaPipe用于构建pipeline来处理不同模式的感知数据以通过BlazePoze GHUM 3D算法检测人体骨架、脸部动作和手部动作捕捉并实现人体到虚拟形象绑定的骨骼的映射算法并进行虚拟角色的渲染，通过2D摄像头实时采集上述所需信息并对虚拟角色渲染后通过视频输出流展示给用户。
主要框架：
1.TensorFlow机器学习框架
3. 国内外研究现状（文献综述）
2016年我国3D动作捕捉系统市场规模1.18亿元，预计2023年我国3D动作捕捉系统市场规模增长到了2.31亿元[1]。虚拟角色技术的发展离不开动作捕捉技术。动作捕捉是一种记录并处理人体动作的技术，已在电影、游戏、动画等领域获得广泛应用。大家耳熟能详的美国好莱坞科幻电影《钢铁侠》、《阿丽塔：战斗天使》、《阿凡达：水之道》以及我国科幻电影里程碑巨作《流浪地球》、《流浪地球2》等电影便大量采用了通过光学动捕技术采集演员的表演动作并制作特效画面。在国家政策和互联网浪潮的推动下，中国动作捕捉系统行业发展迅速，取得了巨大成就，应用领域不断扩大。未来，随着VR/AR设备的普及，人们将能够更加直观地与虚拟角色进行交互，从而开启更为丰富的虚拟体验[2]。
所谓画鬼容易画人难，既要做出有别普通人类的虚拟形象，又要让他们的一眸一笑不流于表面、反而处处展现出真实人物的神态容姿，可不是件容易的事情。在这些惟妙惟肖的特技效果背后，就是动作捕捉技术了。现如今，二维的动作捕捉已经发展的十分成熟也有许多成熟的解决方案(如OpenPose[3]),该部分主要讨论三维动作捕捉。
4. 研究方案
设计方案：
该系统主要需求为虚拟形象动作生成与虚拟形象渲染，其中动作生成模块功能需求如下：
#8226;从视频中逐帧提取人物的三维骨骼信息，可使用摄像头或视频文件作为视频源
5. 工作计划
2022-2023-1学期：
第15-16周 完成选题，查阅相关中英文资料，进行相关技术的学习
第17周 与导师沟通进行课题总体规划
以上是毕业论文开题报告，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
