数据处理与深度学习

作者简介

内容简介

第3章适应型深度学习模型 深度学习模型不是**的，在有些场景或应用中会出现局限性，因此需要提高现有深度学习模型的适应性。本章给出了两种适应型深度学习模型： 期望与反期望深度学习模型、残缺数据深度学习模型。 3．1期望与反期望深度学习模型 深度学习模型通过输入数据和输出数据对深度学习模型进行训练。如果有的输入数据在不同场景下能产生属性相反的输出数据(这是有可能的，假如还有影响输出结果的其他条件数据没有包括在输入数据中，那么就有可能因为其他条件数据的变化，而产生不同的输出数据)，此时就会在训练过程中引起深度学习模型结构的动荡，不利于深度学习模型的训练，也不利于深度学习模型的使用，因为无法得知输出数据的可信度是多少［11,12］。 例如，深度学习模型判断一个人是不是男的，输入不同人的人脸特征，同样脸部特征的人可能是男的，也可能是女的，此时就会在训练过程中引起深度学习模型结构的动荡。 本技术研究并给出了一种新的期望与反期望深度学习方法和神经网络系统，通过输出数据的期望标签和反期望标签构造两个深度学习模型，分别对与期望标签对应的深度学习模型和与反期望标签对应的深度学习模型进行训练，避免了深度学习模型当存在属性相反的输出数据时结构动荡的问题，提高了深度学习模型训练的可靠性。 3．1．1期望与反期望深度学习方法 如图31所示，本技术方案提供一种期望与反期望深度学习方法，可包括以下步骤： 图31期望与反期望深度学习方法流程 (1) 步骤S1，获取训练数据中输出数据的期望标签和反期望标签； 其中，反期望标签是与期望标签的属性相反的标签。 例如，获取输出数据的期望标签“男人”，反期望标签“女人”。 (2) 步骤S2，初始化与期望标签对应的深度学习模型，得到期望深度学习模型； 初始化与反期望标签对应的深度学习模型，得到反期望深度学习模型。 其中，期望标签对应的深度学习模型的输入格式初始化为训练数据中的输入数据格式； 反期望标签对应的深度学习模型的输入格式也初始化为训练数据中的输入数据格式。期望深度学习模型的输出格式初始化为0~1之间的数，输出为1时，表示输出为期望标签； 输出为0时，表示输出不是期望标签； 输出为0~1时，表示输出有可能是期望标签。反期望深度学习模型的输出格式初始化为0~1的数，输出为1时，表示输出为反期望标签； 输出为0时，表示输出不是反期望标签； 输出为0~1时，表示输出有可能是反期望标签。同时，获取已有同类深度学习模型的配置信息(预设配置信息包括： 预设层数、每层预设节点数、各网络连接的预设权值)作为期望标签对应的深度学习模型的配置信息对期望标签对应的深度学习模型进行配置，同时也将该配置信息作为反期望标签对应的深度学习模型的配置信息对反期望标签对应的深度学习模型进行配置。 例如，初始化与期望标签“男人”和反期望标签“女人”对应的两个深度学习模型，称为期望标签“男人”深度学习模型、反期望标签“女人”深度学习模型。 (3) 步骤S3，分别对期望深度学习模型和反期望深度学习模型进行训练。 在一个技术方案中，本步骤可以采用以下方式实现： ① 步骤S31，通过训练数据中的输入数据分别对期望深度学习模型和反期望深度学习模型进行无监督训练。 例如，通过训练数据中的输入数据人脸图像分别对期望标签“男人”深度学习模型、反期望标签“女人”深度学习模型进行无监督训练。对期望深度学习模型、反期望深度学习模型进行无监督训练，可采用同样的输入数据集合。 ② 步骤S32，从训练数据中获取与期望标签一致的输出标签对应的输入数据，将该输入数据作为输入，将“1”作为预期输出，对期望深度学习模型进行有监督训练，并从训练数据中获取与期望标签及反期望标签都不一致的输出标签对应的输入数据，将该输入数据作为输入，将“0”作为预期输出，对期望深度学习模型进行有监督训练。 可以将训练数据中与期望标签一致的输出标签对应的输入数据作为**输入数据； 从**输入数据中筛选出**预设比例(假设为P%，P为0~100的实数)的**输入数据，得到对应的每一第二输入数据(即将**输入数据中P%的数据保留，其余数据清空，得到对应的每一第二输入数据)； 将每一第二输入数据作为输入，将**预设比例作为预期输出，对期望深度学习模型进行有监督训练。 之所以不进行从训练数据中获取与反期望标签一致的输出标签对应的输入数据，将该输入数据作为输入，将“0”作为预期输出，对期望深度学习模型进行有监督训练，是因为与反期望标签一致的输出标签所对应的输入数据有可能与期望标签一致的输出标签所对应的输入数据类似(例如，有的男人和女人的脸部特征很相像)，从而导致类似的输入数据在同一个深度学习模型中产生不同的输出标签，进而会对期望深度学习模型的训练效果产生负面影响。 例如，从训练数据中获取与期望标签“男人”一致的输出标签(预期输出为“1”)及其对应输入数据人脸图像对期望标签“男人”深度学习模型进行有监督训练； 从训练数据中获取与期望标签“男人”及反期望标签“女人”都不一致的输出标签(预期输出为“0”)及其对应输入数据(例如动物头像)对期望标签“男人”深度学习模型进行有监督训练； 从训练数据中获取与期望标签“男人”一致的输出标签(预期输出为“1”)及其对应输入数据人脸图像，将输入数据人脸图像中60%的部分保留(可随机选择，也可以均匀选择，或按照一定预设方式选择需要保留的部分)，其余40%的部分从图像中清除(可随机选择，也可以均匀选择，或按照一定预设方式选择需要保留的部分)，然后将处理后的输入数据人脸图像作为新输入数据人脸图像，将输出数据“1”变为新输出数据“60%”，对期望标签“男人”深度学习模型进行有监督训练。 ③ 步骤S33，从训练数据中获取与反期望标签一致的输出标签对应的输入数据，将该输入数据作为输入，将“1”作为预期输出，对反期望深度学习模型进行有监督训练，并从训练数据中获取与期望标签及反期望标签都不一致的输出标签对应的输入数据，将该输入数据作为输入，将“0”作为预期输出，对反期望深度学习模型进行有监督训练。 可以将训练数据中与反期望标签一致的输出标签对应的输入数据作为第三输入数据； 从每一第三输入数据中筛选出第二预设比例(假设为P%，P为0~100的实数)的数据，得到对应的每一第四输入数据(即将每一第三输入数据中P%的数据保留，其余数据清空，得到对应的每一第四输入数据)； 将每一第四输入数据作为输入，将对应的第二预设比例作为预期输出，对反期望深度学习模型进行有监督训练。 例如，从训练数据中获取与反期望标签“女人”一致的输出标签(预期输出为“1”)及其对应输入数据人脸图像对反期望标签“女人”深度学习模型进行有监督训练； 从训练数据中获取与期望标签“男人”及反期望标签“女人”都不一致的输出标签(预期输出为“0”)及其对应输入数据(例如动物头像)对期望标签“女人”深度学习模型进行有监督训练。 从训练数据中获取与反期望标签“女人”一致的输出标签(预期输出为“1”)及其对应输入数据人脸图像，将输入数据人脸图像中60%的部分保留(可随机选择，也可以均匀选择，或按照一定预设方式选择需要保留的部分)，其余40%的部分从图像中清除(可随机选择，也可以均匀选择，或按照一定预设方式选择需要保留的部分)，然后将处理后的输入数据人脸图像作为新输入数据人脸图像，将输出数据“1”变为新输出数据“60%”，对反期望标签“女人”深度学习模型进行有监督训练。 在分别对期望深度学习模型和反期望深度学习模型进行训练之后，还可以计算输入数据对应的输出属于期望标签及反期望标签的可信度。可以将输入数据输入期望深度学习模型，得到期望深度学习模型的输出数据； 将输入数据输入反期望深度学习模型，得到反期望深度学习模型的输出数据； 根据期望深度学习模型与反期望深度学习模型的输出数据得到输入数据对应的输出属于期望标签及反期望标签的可信度。 例如，获取输入数据人脸图像，将输入数据人脸图像输入期望深度学习模型，得到期望深度学习模型的输出数据，该输出数据为0~1的数，越接近1，则表明输出为期望标签的概率越大； 将输入数据输入反期望深度学习模型，得到反期望深度学习模型的输出数据，该输出数据为0~1的数，越接近1，则表明输出为反期望标签的概率越大。 在计算可信度时，可以将期望深度学习模型的输出数据作为输出属于期望标签的概率记为A，将反期望深度学习模型的输出数据作为输出属于反期望标签的概率记为B； 将输入数据对应的输出属于期望标签或反期望标签的可信度记为F，则F=(A+B)/2； 输入数据对应的输出属于期望标签的可信度为F×A，属于相反标签的可信度为F×B，属于其他标签的可信度为1-F。 例如，如果这个人是男人，那么这个人是男人的概率是F×A，作为这个人是男人的可信度； 是女人的概率是F×B，作为这个人是女人的可信度； 属于其他标签的概率为1-F，作为这个人既不是男人又不是女人的可信度。 深度学习模型判断一个人是不是男人，训练数据中输入头像图像，如果训练数据中输出数据是男人，则用“男人”标签对应的深度学习模型进行训练，例如用输出“1”代表是男人，用“0”代表不是男人(例如是动物)； 如果训练数据中输出数据是女人，则用“女人”标签对应的深度学习模型进行训练，例如用输出用0~1的数来代表是女人的可能性大小，用1代表是女人，用0代表不是女人(例如是动物)； 如果训练数据中输出数据是跟男人、女人无关的，例如动物，则“男人”标签对应的深度学习模型和“女人”标签对应的深度学习模型同时进行训练。 在使用时，输入一个数据到“男人”和“女人”标签对应的深度学习模型同时计算，如果“男人”标签对应的深度学习模型输出0．8； 如果“女人”标签对应的深度学习模型输出0．5，则输出是“男人”或“女人”的可信度是(0．8+0．5)/2=0．65=65%，输出不是“男人”或“女人”的可信度是1-65%=35%，输出是“男人”的可信度是65%×0．8=52%，输出是“女人”的可信度是65%×0．5=32．5%，相对而言是“男人”的可信度*高，所以判断为“男人”。 本书的特色在于以深度学习神经网络应用牵引深度学习神经网络理论的创新，同时以深度学习神经网络理论的创新促深度学习神经网络应用的创新，在深度学习神经网络与各行各业之间进行了大胆的交叉创新，从而使得深度学习神经网络技术*智能、*鲁棒、*普适、*精准、*强大，进而加速深度学习神经网络智能应用的发展。当然，深入后必能浅出，因此读者通过本书也能通过深度学习神经网络的新理论方法和新应用加深对现有深度学习技术的理解和应用。