第6章 - 优化技巧 客观题： 1、什么是 Dropout 技术？ A. 一种数据增强方法 B. 一种正则化技术 C. 一种优化算法 D. 一种损失函数 答案: B 2、Batch Normalization 主要用于解决什么问题？ A. 梯度消失 B. 梯度爆炸 C. 内部协变量偏移 D. 过拟合 答案: C 3、什么是学习率调度？ A. 不断增加学习率的过程 B. 不断减小学习率的过程 C. 在训练过程中动态调整学习率的方法 D. 将学习率设置为常数的过程 答案: C 4、哪种权重初始化策略有助于缓解梯度消失问题？ A. 全部初始化为0 B. Xavier/Glorot 初始化 C. 全部初始化为1 D. 高斯初始化 答案: B 5、Dropout 在哪个阶段起作用？ A. 测试阶段 B. 训练阶段 C. 验证阶段 D. 所有阶段 答案: B 6、什么是超参数调优？ A. 调整模型的权重 B. 调整模型的结构 C. 调整训练算法的参数（如学习率、批大小等） D. 调整输入数据 答案: C 7、使用哪种技术可以加速模型训练？ A. Dropout B. Batch Normalization C. Xavier 初始化 D. L2 正则化 答案: B 8、什么是早停（Early Stopping）？ A. 当验证损失开始增加时，停止训练 B. 在每个 epoch 后停止训练 C. 当训练损失低于某个阈值时停止训练 D. 在训练开始前停止训练 答案: A 9、L1 正则化与 L2 正则化有何不同？ A. L1 用于特征选择，L2 用于模型训练 B. L1 生成稀疏模型，L2 不生成稀疏模型 C. L1 使用绝对值，L2 使用平方 D. 所有上述选项 答案: D 10、什么是动量（Momentum）？ A. 一种用于加速 SGD 的变体 B. 一种用于防止过拟合的技术 C. 一种用于数据增强的方法 D. 一种用于调整学习率的方法 答案: A 11、什么是 Adagrad 优化器？ A. 一种自适应学习率优化算法 B. 一种用于图像分类的模型 C. 一种用于解决梯度消失问题的方法 D. 一种用于数据增强的方法 答案: A 12、在 CNN 中，使用哪种正则化技术最为常见？ A. Dropout B. L1 正则化 C. L2 正则化 D. Batch Normalization 答案: D 13、哪种优化器使用自适应学习率和动量？ A. SGD B. Adagrad C. Adam D. RMSprop 答案: C 14、什么是学习率衰减？ A. 在训练过程中逐渐增加学习率 B. 在训练过程中逐渐减小学习率 C. 在每个 epoch 开始时增加学习率 D. 在每个 epoch 开始时减小学习率 答案: B 15、哪一种正则化技术能够生成稀疏模型？ A. Dropout B. L1 正则化 C. L2 正则化 D. Batch Normalization 答案: B 16、Grid Search 用于什么？ A. 模型训练 B. 特征选择 C. 超参数调优 D. 数据预处理 答案: C 17、什么是梯度裁剪（Gradient Clipping）？ A. 一种用于解决梯度消失问题的方法 B. 一种用于解决梯度爆炸问题的方法 C. 一种用于加速训练的方法 D. 一种用于数据增强的方法 答案: B 18、什么是权重衰减（Weight Decay）？ A. 一种用于解决梯度消失问题的方法 B. 一种 L2 正则化的形式 C. 一种用于加速训练的方法 D. 一种用于数据增强的方法 答案: B 19、什么是 Nestrov 动量？ A. 一种用于解决梯度消失问题的方法 B. 一种用于防止过拟合的技术 C. 一种用于加速 SGD 的改进方法 D. 一种用于数据增强的方法 答案: C 20、什么是模型集成（Model Ensembling）？ A. 同时训练多个模型 B. 将多个模型的预测结果结合起来 C. 在一个大的神经网络中包含多个小网络 D. 使用多个不同类型的层（如卷积层和循环层）构建模型 答案: B 简答题： 1、解释什么是 Dropout 和它是如何工作的。 答案: Dropout 是一种正则化技术，用于防止过拟合。在训练阶段，Dropout 随机“丢弃”网络中某一层的一部分节点（即将其设置为0），从而使模型不能过分依赖任何一个节点。 2、解释 Batch Normalization 的工作原理。 答案: Batch Normalization 是一种用于加速深度网络训练的技术，也有助于正则化模型。它通过在每个批次上计算每一层的输入的均值和方差，并用这些统计量来标准化输入，从而减少内部协变量偏移。 3、什么是学习率调度，以及为什么它是有用的？ 答案: 学习率调度是一种在训练过程中动态调整学习率的技术。这是有用的，因为它可以帮助模型更快地收敛，并有可能达到更好的训练效果。 |
说点什么...