python 应用

python 应用

爬虫框架Scrapy(基于python语言做的进行数据爬取的框架),在Scrapy里，使用一种叫做 XPath selectors的机制，它基于 XPath表达式(用于获取指定的数据)。


数据分析,python已经有很多基于数据分析的函数库和工具，使得分析数据非常方便，如Numpy(科学计算的基础包,),Pandas(高级的数据结构和操作工具，它们使得Python数据分析更加快速和容易),Matplotlib(一个 Python 的 2D绘图库)


机器学习,如推荐系统


人工智能（AI）、机器学习（ML）、深度学习（DL）
人工智能是什么：就是想电影中终结者，像阿尔法狗这类的具有一定的和人类智慧同样本质的一类智能的物体。
人工智能和机器学习的关系：机器学习是实现人工智能的方法。
机器学习和深度学习的关系：深度学习是机器学习算法中的一种算法，一种实现机器学习的技术和学习方法。

“强人工智能”（General AI）。这个无所不能的机器，它有着我们所有的感知（甚至比人更多），我们所有的理性，可以像我们一样思考。

“弱人工智能”（Narrow AI）。弱人工智能是能够与人一样，甚至比人更好地执行特定任务的技术。

机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。


机器学习最成功的应用领域是计算机视觉，虽然也还是需要大量的手工编码来完成工作。人们需要手工编写分类器、边缘检测滤波器，以便让程序能识别物体从哪里开始，到哪里结束；写形状检测程序来判断检测对象是不是有八条边；写分类器来识别字母“ST-O-P”。使用以上这些手工编写的分类器，人们总算可以开发算法来感知图像，判断图像是不是一个停止标志牌。


经过深度学习训练的图像识别，在一些场景中甚至可以比人做得更好：从识别猫，到辨别血液中癌症的早期成分，到识别核磁共振成像中的肿瘤。Google的AlphaGo先是学会了如何下围棋，然后与它自己下棋训练。它训练自己神经网络的方法，就是不断地与自己下棋，反复地下，永不停歇。

深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能无人驾驶、预防性医疗，甚至是更好的电影推荐，都近在眼前，或者即将实现。

传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等


https://www.leiphone.com/news/201609/gox8CoyqMrXMi4L4.html


模型是求解学习问题的一系列前提假设/inductive bias，根据已知数据寻找模型参数的过程就是训练，最终搜索到的映射\hat{f}被称为训练出来的模型。


Training 的过程实质是优化！
在监督学习中，给定数据和模型假设空间，就可以构建出优化问题，也即如何确定参数，使得你的优化目标最优化，这也就是所谓的训练吧。

https://www.zhihu.com/question/29271217


于是我们的分类器模型（就是函数）就是 x = k 这样的直线，k 就是我们的模型参数（函数参数）。


所谓学习（这里仅指有监督学习），就是学习某个函数的参数的过程。