##走进深度学习：一文带你深入了解Deep Learning算法( 四 )

通常，它们受到编码维度（小于信号的维度）的限制，或者会因激活编码受到惩罚。编码损失使得输入信号的恢复会出现错误，为了使错误最小化，网络必须学习选择最重要的特征。

本文插图
图源：Mathworld.
自动编码器可用于预训练如执行分类任务且标记对太少时；或用于降低数据维度以供之后的可视化；抑或用于只需要学习区分输入信号的有用特征时。
此外，自动编码器的某些发展（将在后面进行描述）正处于生成模型科学发展的前沿，例如变分自动编码器（VAE），以及其与生成式对抗网络（GAN）的组合，都给出了非常有趣的结果。

本文插图
9.Transformer
Transformer也是一种新模型，由于其出现开始使循环网络过时，因而被广泛用于语言应用。它们基于名为注意的概念，该概念用于强制网络将注意力集中在特定的数据点上。

本文插图
图源：unsplash
不必使用过于复杂的LSTM单元，而是使用“注意”机制根据输入的重要性对输入的不同部分进行加权。注意机制不过是具有权重的另一层而已，其唯一目的是以一种优先考虑部分输入，而降低其他输入优先级的方式来调整权重。
实际上， Transformer由多个堆叠的编码器（形成编码器层）、多个堆叠的解码器（解码器层）和一堆关注层（self-attention和encoder-decoder attention）组成。

本文插图
图源：github
Transformer旨在处理有序数据列，例如自然语言中诸如机器翻译和文本摘要之类的各种任务。如今， BERT和GPT-2是两个最著名的预训练自然语言系统，它们都基于Transformer ，被用于各种NLP任务中。

本文插图
10.图神经网络
通常，非结构化数据不太适合深度学习。然而在许多实际应用中，数据都是非结构化的，且以图的形式进行组织，如社交网络，化合物，知识图，空间数据。

本文插图
图源：unsplash
图神经网络的目的是对图数据进行建模，这意味着它们可以识别图中节点之间的关系并为其生成数字表示。这就如同嵌入。因此，它们后续可以被用于处理诸如聚类，分类等各种任务的任意机器学习模型中。
希望本文能让你再次见到深度学习时不再那么懵。

本文插图
留言点赞关注
我们一起分享AI学习与发展的干货
如转载，请后台留言，遵守转载规范