深度学习思考和理解 一 统计学和信息论

1、世界是不确定的，所有的函数表达式y=f(x) 只在理论中存在，现实世界中所观察到的信息，都是带有随机性的信息。所以从经验中总结规律，利用统计学和概率论是个靠谱的想法。

2、不确定性的原因？

1》世界本身不确定（比如量子力学） 2》没法掌握影响结果的所有因素（在造物主面前，人类是渺小的） 3》不完全建模（舍弃不需要的细节，太多细节，不利于应用）

3、概念上讲，函数关系是概率关系的特例（函数值出现的概率恒等于1）。所以函数关系都可以改造成概率的模式（核心是满足概率的和是1），如果在改造的同时，能够满足一些比较好的分析性质（连续、可微、可积分、凸函数），就是非常爽的一件事。在函数的名字上，这些概率化的函数一般都叫做 softXXX

4、贝叶斯定理：p(y|x) 想办法用p(x|y)来表达

5、信息论：一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。

6、交叉熵，描述 计算出的分布与观察到的分布之间的差异。

7、最大释然估计：小概率事件不容易发生，相应的，取样到的数据可以认为是大概率的事件，可以用取样到的数据概率最大化，来确定概率分布的参数。