人定勝天
11
30
28
《深度学习图解》反向传播 《深度学习图解》反向传播
反向传播 交通信号灯问题 神经网络如何学习整个数据集? 可以通过解读交通信号灯的含义来知道什么时候过马路是安全的。但是我们只能观察每种灯光组合和周围的人通行或止步的相关性来进行判断: 准备数据 如何训练一个监督神经网络? 可以交给它两个数
2023-11-28
27
《深度学习图解》梯度下降 《深度学习图解》梯度下降
比较 本章中,我们只介绍一种简单的测量误差的方法:均方误差。 “比较”这一步会让你知道自己的模型错了多少,但这还不足以让它真正学会,因为只是“比较”它不会告诉你为什么错了,在什么方向产生了失误,应该做什么来纠正错误。它只能给出表示“严重失误
2023-11-27
26
22
深度学习基础——知识点汇总 深度学习基础——知识点汇总
如今在神经网络上获得更好性能的最可靠的方法是什么? 训练一个更大的神经网络 投入更多数据 这只能在一定程度上起作用,因为最终你耗尽了数据,或者最终你的网络是如此大规模导致将要用太久的时间去训练。 所以如果你没有大量的训练集,那效果会取决
2023-11-22
04
大模型优化经典回顾 大模型优化经典回顾
模型量化(Q) 用定点的数值运算代替浮点的数值运算。 模型剪枝(P) 一般指的是模型训练后进行反训练之前,或反训练之后部署之前进行剪枝,或保留模型的部分权重和结构。 online:边剪枝边训练 offline:不训练直接剪枝 权
2023-11-04
02
神经网络量化初探——量化感知训练 神经网络量化初探——量化感知训练
后训练量化虽然操作简单,并且大部分推理框架都提供了这类离线量化算法 (如 tensorrt、ncnn,SNPE 等),但有时候这种方法并不能保证足够的精度,因此本文介绍另一种比后训练量化更有效地量化方法——量化感知训练。 量化感知训练,顾名
2023-11-02
02
01