3. 国、内外研究现状和发展动态
目前的手语翻译技术的研究，根据手语获取方式的不同，分为基于数据的手语手套和基于视觉的手语识别。前者虽可实时采集手势的三维运动信息和变化形式，但设备复杂，价格昂贵且佩戴不便。因此基于视觉的手语识别成为主流。但传统的手语实时翻译技术存在局限且目前已有的手语数据库在规模和覆盖范围上还存在不足，难以涵盖所有的手语词汇和表达方式。因此，进一步手语实时翻译技术的开发是必不可少的。进行手语实时翻译技术的研究需首先了解失语者的文化、背景和生活环境,在此基础上创建符合用户地区、年龄、 性别、教育程度、所使用手语语种的类别以及语言熟练程度等属性的手语应用系统。手语翻译技术面向的主要群体是语言交流障碍人士(包括失语者、失聪者等),在考虑技术创新的同时,不可忽略当今手语项目对语言交流障碍人士的适用性和实用性。
3.1 国内研究现状
在20世纪90年代初，就开始了视觉手势识别的研究。付永刚釆用两个摄像机实现了一个双手交互的VedioDesk系统，系统将釆集到的视频图像与预先定义好的捏取、指、点及拖拽等常用手势进行对比匹配来进行手势识别。
2015年，曹翔研制了一种便携式可穿戴中国手语手势翻译装置。该装置由左右手两个独立的模块组成。两个模块均设计成腕带形式，可穿戴于双手前臂采集手语手势动作表面肌电、加速度和角速度信号。右手模块将采集到的数据通过蓝牙发送到左手模块，左手模块同时完成数据采集和手势识别功能【1】。该设计为实现更大词汇量的可穿戴手语翻译设备提供了可能。
江西某公司在2015年申请的一项专利中公布了一种辅助听力言语障碍人士对话的智能眼镜，其工作原理是通过眼镜采集手语手势图像，经过手语识别转换成语音，也可以将语音通过处理变成手语手势投影到眼镜【1】。为正常人于听力障碍人士的对话提供了便利。
在我国，哈尔滨工业大学的吴江琴、高文等给出了ANN与HMM的混合方法作为手语的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数的个数。将ANN-HMM混合方法应用于有18个传感器的CybleGlove型号数据手套的中国手语识别系统中，孤立词识别率为90%，简单语句级识别率为92%。接下来高文等又选取CbleGlove型号数据手套作为手语输入设备，并采用了DGMM(dynamicGaussianmixturemodle)作为系统的识别技术，即利用一个随时间变化的具有M个分量的混合GaussianN-元混合密度来模型化手语信号，可识别中国手语字典中的274个词条，识别率为98.2%【2】。与基于HMM的识别系统比较，虽然这种模型的识别精度与HMM模型相当，但其训练和识别速度相较于HMM有明显的改善。并且他们在识别模块中选取了多层识别器，可识别中国手语字典中的274个词条，识别率为97.4%。进一步提高了识别速度。
这些研究与开发的装置虽各有优势，但都存在不足。VedioDesk系统依赖于预先定义好的常用手势，而手语复杂且多样，如若VedioDesk系统补充不及时，则相应的手语手势将无法被识别。且该系统在视频图像与预先定义好的手势对比匹配时速度较慢的。曹翔的可穿戴中国手语手势翻译装置和吴江琴、高文的项目仅限于中国手语手势,手语由一系列动作按照语义约束规则组合而成。例如,手势的移动方向具有指示主语和宾语的语法功能;同种手语动作可能表达名词、动词等多种词性或语义。头部、手形和体态的变化均是手语动作的主要表现方式。关于头部的语义约束关系也有头部运动、面部表情、口型 变化、耸肩和眼睛注视等微动作,这些都是手语表达的关键语 义元素。由于跨语种的语言习惯和语法规则不同,各国手语的语言约束规则也存在着差异而语言交流障碍人士存在于世界各地，因此该装置存在很大的局限性。并且曹翔的装置制作工艺受限，需要制造与开发，投入成本会较高；蓝牙之间会形成相互干扰，如若手势之间有阻挡即会导致蓝牙断开。且该设备对手势的准确性要求较高，若肌肉处于的状态不同将会导致手势无法被该装备识别，手势翻译不同步，识别不连续等问题。另外该设备的保存与清理方面也是潜在问题，如若处置不当也可对正常的识别造成影响。江西的智能眼镜也存在保存问题和成本较高问题。
3.2 国外研究现状
英国的ViSiCAST翻译器首先进行分词，将录入的英语文本句子通过卡内基梅隆大学（Carnegie Mellon university,CMU）现行词法句法分析器进行分词；然后分析语法规则并标注，根据英国手语本身的语法规则特征对文本进行分析并将分析结果按照分布式资源调度（distribute resourse scheduler,DRS）结构的方式进行表达，最终把分析结果合成以HamNoSys标注的方式呈现，此项目旨在支持聋人公民以他们选择的手语媒介更好地获取信息和服务。此手语合成系统在英国的应用效果显著【3】。 ViSiCAST 技术旨在适用于不断发展的广播标准。 这包括研究在电视机顶盒中部署虚拟手语翻译人员的策略，以及研究以SiGML 标记法表示的手语传输。该领域的相关标准包括DVB中的多媒体家庭平台（MHP）以及MPEG标准。例如，计划将项目中使用的基于捕捉的动画系统整合到MPEG-4定义的面部和身体动画系统中，并将SiGML标记法集成到MPEG-7的多媒体内容描述接口框架中【4】。
印度Tirthankar等研发英文文本与印度手语的翻译系统。该系统以简单的英语句子作为输入，并生成手语词表，随后可将其转换为汉堡符号系统（HamNoSys）（Prillwitz等人，1989年）。HamNoSys表示形式将为手语合成模块提供手势指令，从而为用户生成ISL的动画表示。词汇功能语法（LFG）的f 结构用于表示ISL的句法【5】。其项目对印度手语翻译技术是质的飞跃，生成印度专门的符号系统，为印度语言交流障碍人士的表达建立方便。
SignSynth项目（Grieve-Smith 1998年；GrieveSmith 1999年）采用 ASCII-Stokoe模型来表示手语。通过将ASCII-Stokoe转换为VRML（虚拟现实建模语言）生成动画输出【5】。他们提出了一种利用最先进的神经机器翻译（NMT）和图像生成技术实现自动手语生成的新方法。该系统能够从口语句子生成手语视频，且在训练时只需要最少的手语词汇和骨骼级标注。通过将任务分解为专门的子过程来实现这一目标【6】【7】。首先，他们使用编码器-解码器网络将口语句子翻译成手语词汇序列。然后，找到词汇与骨骼序列之间的数据驱动映射。利用所得的姿势信息来条件生成模型，从而生成手语视频序列。他们在文本到词表翻译方面的结果令人印象深刻，且该方法具有良好的可扩展性。
这几个项目虽在手语识别上有许多优点，但仍存在一些缺点。英国的ViSiCAST项目依赖于ViSiCAST翻译器首先进行分词、卡内基梅隆大学（Carnegie Mellon university,CMU）现行词法句法分析器进行分词，分析语法规则并标注、动作捕捉数据和复杂的虚拟形象动画。而翻译器和分析器会产生多余的研发费用导致开发成本较高，且该项目仅限于英国手语不具有普遍性。且若要呈现可读的手语，虚拟人物必须清晰的展示动作、手势和表情。若使演示的画面与原作高度重合，渲染质量必须高。此外虚拟形象生成逼真的手语，此仅限于提前录制好的短语，如若短语库不能及时补充，供应不足，将导致无法识别。对于语言交流障碍人士的日常交流还不能提供较为便利的条件。而且前期进行动作捕捉数据的制作成本高昂，对于一些小型公司来说会导致较大的财务负担。印度Tirthankar的项目由于印度手语没有书面形式，导致没有标准的手语语料库来源且他们使用动画虚拟形象的手语合成模块尚未开发，因此他们使用预先录制的手语视频生成手语输出。而手语较为冗杂且繁多，预先录制手语视频生成手语输出会有漏录，错录等不确定因素的影响，这就导致该项目十分大的局限性。并且其项目对于进一步的形态学功能，如语篇、方向性和量词谓词等，处理得较为简略。而SignSynth项目虽然应用了自动手语生成的新方法，但其需要专门人员先对系统进行训练，而这会产生培养专门人员的额外费用。并且其需要编码器也会产生部分费用。并且，生成的视频质量欠佳，因为其分辨率仅为128×128像素。此外，使用查找表严重限制了这种方法，并在手势间的协同发音中引入了伪影和不连续性。我们充分借助当今技术发展迅速的背景，整合利用先进技术提升项目的性能，为特殊人群的沟通提供便利。正是基于这一理念，我们项目的优点便凸显出来。我们团队不断打磨,运用先进YOLO算法的同时进行自主研发，提升了翻译系统的准确性和语音播放的流畅性，大大提升了产品的优势。以下是我们产品的优势条件：
（1）相较于老式的手语识别系统，本项目能够实现实时语音播报，及时传递信息，提升了沟通效率，降低了用户的用眼时间，营造了自然的交流环境。
（2）采用先进的计算机视觉处理技术，对摄像头捕获到的实时视频进行逐帧分析。利用深度学习算法，识别出手语动作的关键特征点，如手部关节的位置、手指的伸展状态、手部的活动幅度等。通过对这些关键特征点解析，为后续翻译打下基础。
（3）使用深度学习的不同模块和自主改进的YOLOv12目标检测算法，不仅优化了对目标的识别精准度和稳定性，还可以在复杂多变环的境中精准监测和区别多个目标，剔除掉无关因素，保留关键因素。
（4）增添了多媒体教学资源，每个课程单元都配备丰富的多媒体教学资源，包括高清视频演示、详细的动作讲解文字说明以及语音指导。
3.3 参考文献
【1】王丹蕾，聂桂平.手语翻译设备的发展现状及未来趋势[J]. 设计, 2016 (19): 115-117.
【2】高伟,郭瑾,曾碚凯.手语研究的方向与现状[J].电子技术应用,2002, 28(11): 6-8.
【3】王兴辉, 孔雪龙,and蒋红星. "虚拟人智能手语合成软件发展现状."中国听力语言康复科学杂志4 (2015): 301-304.
【4】Elliott R,Glauert JRW, Kennaway JR, etal. The development of language processing support for the ViSiCAST project[C]//Proceedings of the fourth international ACM conference on Assistive technologies. 2000: 101-108.
【5】Dasgupta T, Basu A. Prototype machine translation system from text-to-Indian sign language[C]//Proceedings of the 13th international conference on Intelligent user interfaces. 2008: 313-316.
【6】Stoll S, Hadfield S, Bowden R. Signsynth: Data-driven sign language video generation[C]//European Conference on Computer Vision. Cham: Springer International Publishing, 2020: 353-370.
【7】Stoll S, Camgöz N C, Hadfield S, et al. Sign language production using neural machine translation and generative adversarial networks[C]//Proceedings of the 29th British Machine Vision Conference (BMVC 2018). British Machine Vision Association, 2018.
