04 通过时间的反向传播（Backpropagation Through Time, BPTT）
1. 核心概念 前向传播 (Forward Propagation) ： 方向：从左到右（时间步 $t$ 从 $1$ 增加到 $T_x$）。 过程：利用输入序列 $x^{(1)}, x^{(2)}, \dots, x^{(T_x)}$ 和共享参数 $W_{ax}, W_{aa}, b_a$，依次计算每个时间步的激活值 $a^{(t)}$。...
Leon Yi
03 循环神经网络模型（Recurrent Neural Network Model）
1. 为什么标准神经网络不适合序列数据？ 尝试使用标准全连接神经网络处理序列数据（如命名实体识别）存在两个主要缺陷： 输入/输出长度不固定：不同句子的单词数量不同，标准网络难以处理变长输入。即使通过填充（Padding）统一长度，也不是最优的表达方式。 无法共享特征：标准网络在不同位置学到的特征无法共享。例如，如果在位置1学到了“Harry”是人名，网络无法自动将在位置5出...
02 数学符号（Notation）
1. 任务背景：命名实体识别 (NER) 目标：建立一个序列模型，输入一个句子，输出每个单词是否属于人名（或其他实体如公司、地点等）。 示例：输入 “Harry Potter and Hermione Granger invented a new spell.”，模型需识别出 “Harry Potter” 和 “Hermione Granger” 是人名。 输出形式：最简单的...
01 为什么选择序列模型？（Why Sequence Models?）
1. 核心概念 序列模型是深度学习中极具变革性的技术，特别适用于处理序列数据。传统的神经网络难以有效处理具有时间依赖性或顺序结构的数据，而循环神经网络（RNN）等序列模型在此类任务中表现卓越。 2. 典型应用场景 笔记列举了七个主要的应用领域，展示了输入 $x$ 和输出 $y$ 的不同组合形式： 语音识别 (Speech Recognition) ...
揭秘微信“快捷登录”：为什么你不用扫码就能直接登录？
摘要：你是否注意过，当电脑上挂着微信时，网页登录不再需要掏出手机扫码，而是直接弹出一个“微信快捷登录”的按钮？这背后并非魔法，而是一场浏览器与本地客户端之间精妙的“密谋”。本文将深入源码，拆解这一体验背后的技术原理。 引言：从“扫码”到“一键”的体验跃迁 曾几何时，PC 端网页登录微信生态的唯一方式就是：打开网页 -> 掏出手机 -> 微信扫码 -> 手机确认...
11 一维到三维推广（1D and 3D generalizations of models）
11 一维到三维推广（1D and 3D generalizations of models） 一、核心思想 卷积神经网络（ConvNets）最初为处理 2D 图像 而设计，但其核心机制——局部感受野 + 权重共享 + 平移不变性——具有高度通用性，可自然推广至 1D 时间序列 和 3D 体数据（如医学影像、视频） 。 关键洞察：卷积操作的本质是 滑动窗口特征检测器，维度只是输入...
10 风格损失函数（Style Cost Function）
10 风格损失函数（Style Cost Function） 🎨 一、什么是图像的“风格”？ 在神经风格迁移（Neural Style Transfer）中，“风格”并不是指颜色或构图等直观概念，而是通过卷积神经网络（CNN）某一层的特征激活之间的统计相关性来定义的。 图像经过 CNN 某一层后，会得到一个三维激活张量： \[a^{[l]} \in \mathbb{R...
09 内容代价函数（Content Cost Function）
09 内容代价函数（Content Cost Function） 一、背景：风格迁移的总代价函数结构 在神经风格迁移（Neural Style Transfer） 任务中，目标是生成一张既保留内容图像（content image）语义内容，又具有风格图像（style image）艺术风格的新图像。 为此，总代价函数由两部分组成： [J(G) = \alpha \cdot J_{\te...
08 代价函数（Cost function）
08 代价函数（Cost function） 一、问题定义 给定： 一张内容图像 $C$ 一张风格图像 $S$ 目标：生成一张新图像 $G$，使其： 内容上接近 $C$ 风格上接近 $S$ 这就是神经风格迁移（Neural Style Transfer） 的核心任务。 二、整体策略：优化生成图像 $G$ 我们不训练一个神经网络去“生成”图像，而是：...
07 CNN特征可视化（What are deep ConvNets learning?）
07 CNN特征可视化（What are deep ConvNets learning?） 一、核心问题：深度卷积神经网络到底在学什么？ 深度卷积神经网络（ConvNets）通过多层非线性变换从原始图像中自动提取特征。理解每一层学到的内容，有助于： 解释模型行为 调试网络结构 构建高级应用（如神经风格迁移） 本节通过特征可视化方法，揭示不同深度隐藏单元所响应的图像模式...