人定勝天
12
17
15
PyTorch实战:残差网络(ResNet) PyTorch实战:残差网络(ResNet)
残差网络(ResNet) 让我们先思考一个问题:对神经网络模型添加新的层,充分训练后的模型是否只可能更有效地降低训练误差? 理论上,原模型解的空间只是新模型解的空间的子空间。 也就是说,如果我们能将新添加的层训练成恒等映射 $f(x)=x$
2023-12-15
08
05
04
02
11
30
28
《深度学习图解》反向传播 《深度学习图解》反向传播
反向传播 交通信号灯问题 神经网络如何学习整个数据集? 可以通过解读交通信号灯的含义来知道什么时候过马路是安全的。但是我们只能观察每种灯光组合和周围的人通行或止步的相关性来进行判断: 准备数据 如何训练一个监督神经网络? 可以交给它两个数
2023-11-28
27
《深度学习图解》梯度下降 《深度学习图解》梯度下降
比较 本章中,我们只介绍一种简单的测量误差的方法:均方误差。 “比较”这一步会让你知道自己的模型错了多少,但这还不足以让它真正学会,因为只是“比较”它不会告诉你为什么错了,在什么方向产生了失误,应该做什么来纠正错误。它只能给出表示“严重失误
2023-11-27
26
22
深度学习基础——知识点汇总 深度学习基础——知识点汇总
如今在神经网络上获得更好性能的最可靠的方法是什么? 训练一个更大的神经网络 投入更多数据 这只能在一定程度上起作用,因为最终你耗尽了数据,或者最终你的网络是如此大规模导致将要用太久的时间去训练。 所以如果你没有大量的训练集,那效果会取决
2023-11-22
04
大模型优化经典回顾 大模型优化经典回顾
模型量化(Q) 用定点的数值运算代替浮点的数值运算。 模型剪枝(P) 一般指的是模型训练后进行反训练之前,或反训练之后部署之前进行剪枝,或保留模型的部分权重和结构。 online:边剪枝边训练 offline:不训练直接剪枝 权
2023-11-04
1 / 10