一、基本概念
1、stochastic gradient descent(SGD):随机梯度下降,不是每次迭代参数的计算都使用全部的数据,而是取一部分(一个patch)进行计算。
2、epoch:把所有训练数据完整的过一遍。
3、step_num:过一遍需要的训练的次数。
4、patch:每次进行梯度训练时,使用的数据子集
5、泛逼近定理 “Universal approximation theorem”, 一个隐藏层可以任意逼近连续函数
二、tensorflow基础
1、用计算图描述分布式计算任务,每个session有个默认graph
2、op 是graph的节点,描述计算操作
3、常量是op,取数据也是op
4、placeholder 实现类似于模板渲染的效果,每次迭代时可以塞入数据集
5、variable 用于在不同的run周期中保持变量,可以用来存神经网络的权值
三、API
reduce_sum 求和,默认所有数据, 0表示按着列计算, 1表示按着行
reduce_max 求最大值
reduce_mean 均值
truncated_normal 截断的正态分布, stddev是标准差
sparse_softmax_cross_entropy_with_logits 把softmax计算与cross entropy计算放到一起,用来提高程序的运行速度
nn.in_top_k() 判断预测结果是否正确。函数本来的意义为判断label是不是在logits 的前k大的值,返回一个布尔值。
四、各个模块
TensorBoard 可视化计算图,计算状态,有web的ui
tf.contrib.learn 高层的模块,实现数据集、填充、训练、评估等功能
模型中间结果的保存和恢复
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
all_saver.save(sess, 'data.chkp')
模型的权重是保存在 .chkp 文件中,模型的图是保存在 .chkp.meta 文件中。
saver = tf.train.import_meta_graph('results/model.ckpt-1000.meta')
graph = tf.get_default_graph()
global_step_tensor = graph.get_tensor_by_name('loss/global_step:0')
train_op = graph.get_operation_by_name('loss/train_op')
hyperparameters = tf.get_collection('hyperparameters')
with tf.Session() as sess:
# To initialize values with saved data
saver.restore(sess, 'results/model.ckpt-1000-00000-of-00001')
print(sess.run(global_step_tensor)) # returns 1000
相关推荐
课程分享——TensorFlow实战BERT(附赠:TensorFlow1.X升级TensorFlow2.X),完整版视频教程下载。 TensorFlow实战BERT课程目录: 第1章 BERT简介 第2章 向量层是怎么来的? 第3章 注意力机制 第4章 Transformer_...
Mastering TensorFlow 1.x_Advanced machine learning and deep learning concepts using TensorFlow 1.x and Keras-Packt Publishing(2018) Google’s TensorFlow has become a major player and a go-to tool for...
Mastering TensorFlow 1.x Code Notes
TensorFlow 1 是 TensorFlow 的一个主要版本,提供了一个稳定和成熟的机器学习框架。 三、使用 Anaconda 安装 TensorFlow 1 使用 Anaconda 安装 TensorFlow 1 非常简单。首先,需要安装 Anaconda, Anaconda 提供...
Machine Learning with TensorFlow 1.x 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 查看此书详细信息请在美国亚马逊官网搜索此书
TensorFlow-1x-Deep-Learning-Cookbook-code.zip TensorFlow 1.x Deep Learning Cookbook-pdf.zip pdf的代码部分乱码的,所以,把作者的代码也放在一起下载。CSDN现在必须要分下载真low,若因在他出下载的pdf中代码...
Machine Learning with TensorFlow 1.x Copyright © 2017 Packt Publishing 学习Tensorflow的入门教材,非常不错,原版电子版,看着舒服
《掌握TensorFlow 1.x》是Packt出版社在2018年出版的一本关于TensorFlow最新教程的书籍,作者是Armando Fandango。这本书主要教授如何使用TensorFlow 1.x版本及Keras框架进行高级的机器学习和深度学习概念的学习和...
从这些基本的函数里逐步深入理解tensorflow1的特征,比如在TensorFlow 1.x中创建图、定义操作、使用会话执行操作等功能,这些也是tensorflow1的核心。 这个代码文件是学习tensorflow用于神经网络的必会基础代码。 ...
TensorFlow 1.x Deep Learning Cookbook 配套代码 TensorFlow 1.x Deep Learning Cookbook 配套代码 TensorFlow 1.x Deep Learning Cookbook 配套代码
TensorFlow是Google开发的一款强大的开源库,用于数值计算和机器学习。版本1.14是在TensorFlow发展历程中的一个重要里程碑,提供了稳定性和性能的优化。离线安装包则为那些无法或不便连接到互联网的用户提供了一种...
TensorFlow 是一个开源的深度学习框架,由谷歌公司开发并维护,广泛应用于机器学习、人工智能以及数据科学等领域。它提供了丰富的API,使得研究人员和开发者能够构建和训练复杂的神经网络模型。源码分析将帮助我们...
1. **低级API**:如tf.Tensor和tf.Operation,它们构成了TensorFlow的基础。tf.Tensor对象表示计算图中的节点,代表数据流;tf.Operation是计算图中的操作,执行数学运算。低级API虽然灵活,但需要更多的代码来构建...
TensorFlow 1.x Deep Learning Cookbook 的公开版本,书里面的代码附加了压缩包的链接文件里面,比原版感觉要清楚。这本书很适合学习TensorFlow,值得推荐
TensorFlow 1.x Deep Learning Cookbook 原版电子书+配套代码!
1. **线性回归**:这是最基本的机器学习问题,TensorFlow可以轻松处理。在这个例子中,可能会展示如何定义输入和输出变量,创建线性模型,以及使用梯度下降法进行优化。 2. **逻辑回归**:逻辑回归用于分类问题,...