dnn和深度学习

DNN（Deep Neural Network）即深度神经网络，是深度学习的基础，它由多个隐藏层组成，能自动提取特征，在许多任务上表现良好，但存在过拟合、可解释性差等问题。

DNN的基本结构

1、输入层：接收原始数据作为输入，为后续的隐藏层提供数据基础，例如在图像识别中，输入层的节点数可能等于图像的像素点个数；在文本处理中，输入层的节点数可能与词汇表的大小或字符集的数量相关。

2、隐藏层：通常有多层，每层由多个神经元组成，每个神经元接收上一层的输出作为输入，并通过加权求和和激活函数的处理，将结果传递给下一层，隐藏层的增加可以增强模型的表达能力，使其能够学习到更复杂的特征表示。

3、输出层：根据具体任务的不同，输出层的设置也有所不同，在分类任务中，输出层的节点数通常等于类别数，每个节点代表一个类别，通过激活函数输出样本属于各个类别的概率；在回归任务中，输出层的节点数一般为 1 或多个，直接输出预测的数值。

DNN的前向传播算法

前向传播是深度神经网络的核心计算过程，用于计算网络的输出，给定输入数据，从输入层开始，逐层计算每个神经元的输出值，直到得到输出层的最终输出。

假设有一个简单的三层 DNN，输入层有3个神经元，隐藏层有4个神经元，输出层有2个神经元，对于输入层的第i个神经元，其输出值为(a_{i}^{[1]}=x_{i})（这里假设输入层不使用激活函数），对于隐藏层的第j个神经元，其输出值为(a_{j}^{[2]}=sigma(sum_{i}w_{ji}^{[1]}a_{i}^{[1]}+b_{j}^{[1]}))，(w_{ji}^{[1]})是输入层第i个神经元到隐藏层第j个神经元的连接权重，(b_{j}^{[1]})是隐藏层第j个神经元的偏置，(sigma)是激活函数（如Sigmoid函数），对于输出层的第k个神经元，其输出值为(a_{k}^{[3]}=sigma(sum_{j}w_{jk}^{[2]}a_{j}^{[2]}+b_{k}^{[2]}))，(w_{jk}^{[2]})是隐藏层第j个神经元到输出层第k个神经元的连接权重，(b_{k}^{[2]})是输出层第k个神经元的偏置。

DNN的反向传播算法

反向传播算法用于调整网络中的权重和偏置，以最小化预测输出与真实标签之间的误差，它基于链式法则，从输出层开始向前传播误差信号，并根据误差信号更新每一层的权重和偏置。

计算输出层的误差(delta_{k}^{[3]}=a_{k}^{[3]}-y_{k})，(y_{k})是真实标签的第k个值，对于隐藏层的第j个神经元，其误差(delta_{j}^{[2]}=sigma'(sum_{i}w_{ji}^{[1]}a_{i}^{[1]}+b_{j}^{[1]})sum_{k}w_{jk}^{[2]}delta_{k}^{[3]})，(sigma’)是激活函数的导数，根据误差信号更新权重和偏置，例如对于输出层的权重(w_{jk}^{[2]})，其更新公式为(Delta w_{jk}^{[2]}=-alphadelta_{k}^{[3]}a_{j}^{[2]})，(alpha)是学习率；对于输出层的偏置(b_{k}^{[2]})，其更新公式为(Delta b_{k}^{[2]}=-alphadelta_{k}^{[3]})。

DNN与深度学习的关系

DNN是深度学习的基础和核心，深度学习是基于DNN发展起来的，深度学习通过构建更深、更复杂的DNN模型，并利用大量的数据进行训练，能够自动学习数据的深层次特征和模式，从而实现对各种复杂任务的高效解决，如图像识别、语音识别、自然语言处理等，而DNN作为一种基础模型，为深度学习提供了基本的框架和方法，使得深度学习能够在众多领域取得突破性的进展。