视觉语音情感识别

作者简介

内容简介

第1章 绪论 1．1 视觉语音情感识别的产生背景 计算机科学技术的迅猛发展对人类社会产生了巨 大的影响，一场信息革命正在酝酿。人们认知自然、 改造自然的方式也随之发生变化。在众多领域，计算 机正在逐渐代替人类完成一些极具挑战性的任务。为 了使人类与计算机之间进行更加智能、更加自然的交 互，新型的人机交互技术正逐渐成为研究热点。人类 自然形成的与自然界沟通的认知习惯和形式必定是人 机交互的发展方向。一方面要求计算机能看、能说、 能听、能感觉，即能够智能地感知使用者的意图；另 一方面，使用者可以不必坐在计算机前通过鼠标和键 盘操作计算机，而是在三维空间中以更加自然和人性 化的方式同计算机交流。总之，新型的人机交互环境 要求计算机必须具有自然化、智能化和人性化等特点 。 实时的多媒体信息在新型的人机交互环境中扮演 着举足轻重的角色，计算机应该能够通过采集用户的 图像信息和语音信息，形成计算机视觉和听觉，然后 处理采集到的多媒体信息，并进行识别，从而感知使 用者的意图，完成人机问的自然交互。实时的视频图 像传递更加丰富的信息，这对于感知使用者的意图， 判断其行为极具价值，因此，目前国内外众多研究学 者将信号处理技术应用于实时的视频信息，使用计算 机处理视觉语音信息，研究并开发新型的人机交互系 统。在该研究领域，基于数字图像的人脸检测技术、 人脸识别技术、手势识别技术、语音识别技术和基于 音视频信息的情感识别技术等陆续被提出，相关的应 用系统也将逐渐改变人们的工作与生活。 所谓情感识别，就是利用计算机分析特定表演者 的面部表情、姿势或语音信号及其变化过程，进而确 定该表演者的内心情绪或思想活动，实现人机之间更 智能、更自然的交互。情感分析在许多领域都有着潜 在的应用价值，如心理学研究、图像理解、脸部动画 合成、视频检索、机器人技术和虚拟现实技术等。随 着多媒体技术的发展，基于音视频的情感分析、识别 研究对于增强计算机的智能化和人性化、开发新型人 机环境，以及推动多媒体技术和信号处理等相关领域 的发展有着重要的意义。 表情是人类交流中信息传递的主要媒介，在人类 的日常生活中扮演着重要的角色，是语言交流的重要 补充和非语言交流的最主要方式之一。表情包含了丰 富的情感信息，是情绪的外在表现，即情绪在生理上 、心理上和外在行为上所表现的一切变化或活动，同 时也是人的社会行为的外在表现。由于人的脸部表情 是反映人的内心情绪和想法的最自然最直接的方式， 因此，基于视觉信息的人脸表情识别技术的研究是继 人脸检测与识别之后的又一研究热点。 语音是人类表达情感的重要通道之一，语音信号 中包含了大量的情感信息。近年来，从语音信号的角