深度学习进阶之路

深度学习之路

写在前面一些东西:我是一个转行的人,也是一个小白,写这些东西既是为了记录回顾自己所学,同时也是给刚入门的同学一点信心和冲劲,正如亮剑中李云龙所说,我们要敢于亮剑,不管前方道路有多么艰难困苦,我相信我们的坚持和努力能够克服
本帖会持续更新,记录自己一路走过的学习之路,如果有人能够从中获取点什么,也算是我的万分荣幸。另外 本帖中出现的所有课程资料我均已购买正版或为免费资源,如有侵权,请告知

开拔

先写一些路径指导上的东西,给学习定一个框架

这是成为一个成熟的AI算法工程师所必需的知识框架,当然大家也不要太过紧张,短时间内肯定不可能都学完,下面是我的学习之路,仅做参考,后续成长的过程中继续对自己进行补充升级。
这个地方也是我踩的坑之一,一开始总会显得比较迷茫,太多了,不知道开始学什么,这也学点那也学点,最后还是什么都不会,才痛定思痛,顺着一条路径开始学习,并且定了自己的细分领域,比如我想进入无人驾驶行业,细分下就是目标检测,这属于CV即计算机视觉,单单只学习前面的东西,是不够的,万丈高楼从地起,前面的都是地基,是方法,细分领域下还有工具,有更多具体问题的算法,正如周院士所说,算法没有优劣,具体问题的算法才有优劣,每一个细分领域的算法都是基础算法的改进再改进,但是万变不离其宗,如果基础不牢固,后面也听不懂,无从下手。我就是直接跳过了一些基础算法部分,直接去看SSD,YOLO,Faster RCNN这些经典算法发现看不懂,又回来补基础。深度学习进阶之路
看一下学习路径吧,从小白入门开始,慢慢进阶,学到哪儿我就更新到哪儿,步步排雷,开拓道路,希望有一起学习的同学加入我,我们互相鼓励,共同进步深度学习进阶之路

基础部分的学习过程

这是我学python的视频,大家可以另外找视频,也可以用这个,内容较多,请选择观看,不明白的请私信我
链接:https://pan.baidu.com/s/1K4ObShiou1ttOXkmD3u-1A
提取码:wed0
数学基础就是上面提到的那些,目前只用到了简单的微积分,线性代数(主要是矩阵思维,还有一些特殊矩阵的性质吗,比如对称矩阵,忘记了的不要慌,我也忘记了,重新翻一下,静下心来,大概几个小时就可以了,大家可以找本书看一下),概率论与数理统计(基础建设,深度学习很多东西都是基于概率来的,从头到尾即符号意义,古典概率开始到大数定理都需要掌握,静下心来,很快的,因为都是基础东西,不做很难的研究,先把原理搞懂再说,基础不牢地动山摇)。
比较重要的是导数,偏导,梯度下降原理,Beta函数(概率的概率分布),Taylor展开(多项式,我们解决的就是一个模型近似问题),我看的是王良老师的课程,是数学背景,大家有兴趣可以搜一下,我报的会员不需要钱,不知道正常看这个课需不需要钱,其个人博客为:https://wangliangster.github.io,我是转行的所以比较着急,想花点钱有人带着少走些弯路,资金有困难的同学可以自己看,都是基础知识,上学时间比较充裕
附上一个知乎专栏连接,讲机器学习中数学知识点的,你会了可以按这个复习,不会可能看不懂,但可以按照这个点去看相关知识点:https://zhuanlan.zhihu.com/p/36584206
下面开始更新今天学到的东西(19/12/04):
还是那句话,基础不牢地动山摇,所以针对性的复习数学知识,我下面所说都是我视频课程中的数学知识点,大家可以按照这个学习,应该够用,如果时间充裕,可以将基本数学课全部过一遍另算。
今天学习和复习的内容包括:导数,偏导,方向导数,梯度下降原理(为什么梯度下降最快,因为该方向的导数移动速度最快),Beta函数,Taylor展开,还有线代的一些知识,包括特征值与特征向量,方程组的解,PCA降维原理,主要是协方差矩阵和对称矩阵的性质,具体可以到王良老师博客上去看一下。
可汗学院统计学的经典内容:
http://open.163.com/newview/movie/free?pid=M82IC6GQU&mid=M83J9IK60
不知道今天能不能看完,看不完过来分割一下。
很可惜今天没有看可汗学院的视频,主要理解PCA的降维原理的时候碰到了一些问题,对于矩阵对角化和对称矩阵这块儿不太理解,又重新翻了下书,附上PCA链接:https://blog.****.net/r709651108/article/details/82777598
此博客关键部分的理解:协方差矩阵AA的转置的对角元素是数据方差,其余元素为不同数据间的协方差,降维而不丢失信息的原理就是找到一个新的这样的协方差矩阵,使数据自己的方差最大,保持本身数据完整性,协方差为0,保证数据降维过程中不同数据的不相关性,以便在新的基上投影时保证数据的多样性。
我们在降维过程中是在这样的原则指导下进行的,所以基于下图D和原始数据协方差矩阵C的关系,我们将原始数据X降维到Y的矩阵P就可以确定了,C本身是实对称矩阵(至于为什么矩阵X
X的转置是对称矩阵,不知道的可以自己查一下资料),P就是将C对角化的一个矩阵,接下来就是C为对称矩阵的性质,求P,求出P取前K行(怎么取),再乘以X得到Y,就完成了降维。
附上个图,是博客里面涉及到的一个推导过程,博客中没有,其余少的例子自己例举一下就好,不知道为啥举例子解释却没有例子,不过不咋影响阅读
深度学习进阶之路
解释一下矩阵的对角化:
首先提出矩阵相似的概念,设有n 阶方阵A与B,若有可逆矩阵P使得P逆AP=B,则称A与B相似,如果一个方阵和一个对角阵相似,就称此方阵可对角化。
矩阵对角化的充要条件为:n阶方阵A有n个线性无关的特征向量
推论:若n阶方阵A有n个不同的特征值,则A可对角化
因为不同特征值的特征向量是线性无关的,若特征值有重数,还是看特征向量的个数
对于这种情况来说P就是线性无关的特征向量组成的矩阵
对于n阶实对称方阵来说,有定理:不同特征值对应的特征向量互相垂直
这就是求解上述使对称矩阵C成为对角化矩阵D的P矩阵的方法,对于博客中所说的基只需要将特征向量正交化即可,使用施密特正交公式。
正交矩阵的定义是A*A的转置=E
未完待续。。。

西瓜书的学习

最近跟着深度之眼的西瓜书训练营开始学习西瓜书,同步更新自己所学到的知识点,每天将所学到的东西,同时在博客中更新,未完待续。。。

机器学习

吴恩达的机器学习课程我已经看完了,这个是入门必看课程,前面很简单,后面慢慢的才有些难度,有些不懂的地方,特别是关于PCA降维原理部分,这个课程在网易云课堂是免费的,大家可以去看看,这个课程不好的一点是没有代码,只有原理,脱离代码可能有时候觉得比较懵逼,我看了两遍那个课,现在还是忘了很多,因为没有代码,后续一段时间我会将里面的代码实现,开始实现那里面代码的时候会在这个段落添加博客链接。

刚刚开始总是会显得很慌乱,万事开头难,几天后就会走向正轨的