1、美国休斯顿贝勒医学院和纽约城市学院的一项研究表明,视觉信息可以帮助人们更多地识别听到的语言单词,特别是在某些噪音水平下,这样的提升最高能到 6倍。人脑可以借助于视 唇语
觉,从说话人的面部以及嘴唇的移动获得一定的视觉信息。而这样的视觉信息可以帮助我们更好地识别说话的内容,在不同的噪音水平下,面部以及嘴唇的移动信息能帮助我们提高 10%~60%左右的识别率。但是当周围的环境噪音非常强或者当语音信号非常微弱的时候,唇语识别就显得相当困难了。
2、需要一定的声音信号才能使唇语阅读最为有效。而这是第一次在自然场景中进行实验,让被试者听到或者看到不同的声音或者视频(包含语音),然后给出他们认为可能的回答。而在以往类似的实验中,实验者的回答只是在一个有限的列表中进行选择。
3、研究团队构建了一个数学模型来预测人是如何混合视觉和听觉信息的。在实验过程中一些单词的视频(包含声音)在噪音环境里播放给实验者,可以看到视觉信息通过与声音信息的混合,可以显著地帮助实验者提高他们对单词的识别率。
4、令人意外的是即使这个视频不是真的对应某些单词,而是像卡通人物那样随着声音的强弱而变化口型,这样的视频信息仍然能提高单词的识别率,虽然这样的识别率的提高相对真实的视频要低。而在另外一项实验中,视频播放的是一个单词,同时播放的声音却是另外一个单词,而当大脑混合了这两种信息后,得到的却是第三个完全不一样的单词。