`
eric_weitm
  • 浏览: 242782 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

tensorflow 一

 
阅读更多

一、基本概念

1、stochastic gradient descent(SGD):随机梯度下降,不是每次迭代参数的计算都使用全部的数据,而是取一部分(一个patch)进行计算。

2、epoch:把所有训练数据完整的过一遍。

3、step_num:过一遍需要的训练的次数。

4、patch:每次进行梯度训练时,使用的数据子集

5、泛逼近定理 “Universal approximation theorem”, 一个隐藏层可以任意逼近连续函数

 

二、tensorflow基础

1、用计算图描述分布式计算任务,每个session有个默认graph 

2、op 是graph的节点,描述计算操作

3、常量是op,取数据也是op

4、placeholder 实现类似于模板渲染的效果,每次迭代时可以塞入数据集

5、variable 用于在不同的run周期中保持变量,可以用来存神经网络的权值

 

三、API

reduce_sum 求和,默认所有数据, 0表示按着列计算, 1表示按着行 

reduce_max 求最大值

reduce_mean 均值

truncated_normal 截断的正态分布, stddev是标准差

sparse_softmax_cross_entropy_with_logits 把softmax计算与cross entropy计算放到一起,用来提高程序的运行速度

nn.in_top_k() 判断预测结果是否正确。函数本来的意义为判断label是不是在logits 的前k大的值,返回一个布尔值。

 

四、各个模块

TensorBoard  可视化计算图,计算状态,有web的ui

tf.contrib.learn 高层的模块,实现数据集、填充、训练、评估等功能

 

模型中间结果的保存和恢复

with tf.Session() as sess:

  sess.run(tf.global_variables_initializer())

  all_saver.save(sess, 'data.chkp')

  

 

模型的权重是保存在 .chkp 文件中,模型的图是保存在 .chkp.meta 文件中。

saver = tf.train.import_meta_graph('results/model.ckpt-1000.meta')

graph = tf.get_default_graph()

global_step_tensor = graph.get_tensor_by_name('loss/global_step:0')

train_op = graph.get_operation_by_name('loss/train_op')

hyperparameters = tf.get_collection('hyperparameters')

 

with tf.Session() as sess:

    # To initialize values with saved data

    saver.restore(sess, 'results/model.ckpt-1000-00000-of-00001')

    print(sess.run(global_step_tensor)) # returns 1000

 

分享到:
评论

相关推荐

    TensorFlow实战BERT(附赠:TensorFlow1.X升级TensorFlow2.X)

    课程分享——TensorFlow实战BERT(附赠:TensorFlow1.X升级TensorFlow2.X),完整版视频教程下载。 TensorFlow实战BERT课程目录: 第1章 BERT简介 第2章 向量层是怎么来的? 第3章 注意力机制 第4章 Transformer_...

    Mastering TensorFlow 1.x-Packt Publishing(2018)

    Mastering TensorFlow 1.x_Advanced machine learning and deep learning concepts using TensorFlow 1.x and Keras-Packt Publishing(2018) Google’s TensorFlow has become a major player and a go-to tool for...

    Mastering TensorFlow 1.x Code Notes

    Mastering TensorFlow 1.x Code Notes

    anaconda安装tensorflow1

    TensorFlow 1 是 TensorFlow 的一个主要版本,提供了一个稳定和成熟的机器学习框架。 三、使用 Anaconda 安装 TensorFlow 1 使用 Anaconda 安装 TensorFlow 1 非常简单。首先,需要安装 Anaconda, Anaconda 提供...

    Machine Learning with TensorFlow 1.x epub

    Machine Learning with TensorFlow 1.x 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 查看此书详细信息请在美国亚马逊官网搜索此书

    TensorFlow 1.x Deep Learning Cookbook(PDF+随书代码)

    TensorFlow-1x-Deep-Learning-Cookbook-code.zip TensorFlow 1.x Deep Learning Cookbook-pdf.zip pdf的代码部分乱码的,所以,把作者的代码也放在一起下载。CSDN现在必须要分下载真low,若因在他出下载的pdf中代码...

    Machine Learning with TensorFlow 1.x

    Machine Learning with TensorFlow 1.x Copyright © 2017 Packt Publishing 学习Tensorflow的入门教材,非常不错,原版电子版,看着舒服

    Mastering.TensorFlow.1.x

    《掌握TensorFlow 1.x》是Packt出版社在2018年出版的一本关于TensorFlow最新教程的书籍,作者是Armando Fandango。这本书主要教授如何使用TensorFlow 1.x版本及Keras框架进行高级的机器学习和深度学习概念的学习和...

    tensorflow1的基础函数代码

    从这些基本的函数里逐步深入理解tensorflow1的特征,比如在TensorFlow 1.x中创建图、定义操作、使用会话执行操作等功能,这些也是tensorflow1的核心。 这个代码文件是学习tensorflow用于神经网络的必会基础代码。 ...

    TensorFlow 1.x Deep Learning Cookbook配套代码

    TensorFlow 1.x Deep Learning Cookbook 配套代码 TensorFlow 1.x Deep Learning Cookbook 配套代码 TensorFlow 1.x Deep Learning Cookbook 配套代码

    tensorflow1.14离线安装包.zip

    TensorFlow是Google开发的一款强大的开源库,用于数值计算和机器学习。版本1.14是在TensorFlow发展历程中的一个重要里程碑,提供了稳定性和性能的优化。离线安装包则为那些无法或不便连接到互联网的用户提供了一种...

    tensorflow源码

    TensorFlow 是一个开源的深度学习框架,由谷歌公司开发并维护,广泛应用于机器学习、人工智能以及数据科学等领域。它提供了丰富的API,使得研究人员和开发者能够构建和训练复杂的神经网络模型。源码分析将帮助我们...

    tensorflow API 文档 (PDF版)

    1. **低级API**:如tf.Tensor和tf.Operation,它们构成了TensorFlow的基础。tf.Tensor对象表示计算图中的节点,代表数据流;tf.Operation是计算图中的操作,执行数学运算。低级API虽然灵活,但需要更多的代码来构建...

    TensorFlow 1.x Deep Learning Cookbook

    TensorFlow 1.x Deep Learning Cookbook 的公开版本,书里面的代码附加了压缩包的链接文件里面,比原版感觉要清楚。这本书很适合学习TensorFlow,值得推荐

    TensorFlow 1.x Deep Learning Cookbook 原版电子书+配套代码

    TensorFlow 1.x Deep Learning Cookbook 原版电子书+配套代码!

    一些简单的TensorFlow_demo小实例

    1. **线性回归**:这是最基本的机器学习问题,TensorFlow可以轻松处理。在这个例子中,可能会展示如何定义输入和输出变量,创建线性模型,以及使用梯度下降法进行优化。 2. **逻辑回归**:逻辑回归用于分类问题,...

Global site tag (gtag.js) - Google Analytics