- 浏览: 692311 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (181)
- Matlab (16)
- Java (26)
- autoHotkey (4)
- openCV (1)
- C++ (50)
- PDF-XChange Viewer (2)
- 学术 (11)
- javascript (4)
- linux (11)
- SWT (9)
- latex (7)
- GAE (2)
- windows (6)
- C# (3)
- PS (20)
- JNI (4)
- latex,批处理 (0)
- 批处理 (4)
- Android (5)
- 矩阵论 (1)
- SVM (1)
- 概率图模型 (0)
- Python (12)
- Eigen (5)
- 编程题 (1)
- MKL (1)
- 神经网络 (9)
- 最优化 (2)
- 摄影 (1)
- PPT (0)
- After Effects (3)
- CUDA (3)
- caffe (0)
- MXNet (2)
- svn (1)
- R (0)
- 虚拟机 (0)
- tensorflow (7)
- theano (1)
- Keras (1)
- vim (1)
- xgboost (1)
- spark (6)
- eclipse (2)
- word2vec (0)
- hadoop (1)
- dmlc (1)
- git (0)
最新评论
-
jeffersonz:
请问大神,这个插件记录下来的脚本为什么不能再Extendscr ...
PhotoShop - 记录PS的所有操作为JavaScript代码 -
cherishLC:
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项;MKL的使用 -
Andy__Zou:
cherishLC 写道Andy__Zou 写道cherish ...
Eigen的编译选项;MKL的使用 -
cherishLC:
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项;MKL的使用 -
Andy__Zou:
cherishLC 写道Andy__Zou 写道 您好,您的工 ...
Eigen的编译选项;MKL的使用
2017年2月16日更新:
tensoflow 1.0 发布了,索性更新一下cuda和cudnn
结果就找不到设备了,显示无法加载 libcuda.so.1!!!
后来,运行cuda的deviceQuery例程,显示找不到cuda设备!!!原因是显卡驱动不兼容。。。。(我是通过系统设置更新的,降回到之前的驱动再重启就没问题了)
至于cuda的更新,官网下个.run安装包,运行“sudo sh cuda_8.0.61_375.26_linux.run”即可(More 页面可以通过+2200直接跳到最后)。
tensorflow1.0的编译很顺利,按照官网的命令顺序即可,只是,需要注意的是,bazel必须更新到0.4.4, 否则刚开始config就会有第三方依赖找不到之类的错误
这里只说一下遇到的坑:
1、装完cuda后,运行测试示例,提示显卡驱动版本不对,找不到cuda设备,,重启就行了
2、装完了别忘了设置环境变量,
编辑或创建 ~/.bash_profile 文件,添加如下两行:(注意自行核对cuda安装目录)
不知道添加到 ~/.bash_profile 文件是不是只在命令行下有效?
在eclipse中运行时提示能够加载cuda,但是无法找到cudnn,最后将这两行也添加到了/etc/profile文件末尾,并重启后,,可以加载cudnn了
3、bazel的安装 可以采用apt-get方式,很简单
具体参见http://bazel.io/docs/install.html的 Using Bazel custom API repository (recommended) 一节中的2、3步
bazel是google打类似make的构建工具,,说是速度快,,还真没看出来。。。。
4、由于众所周知的网络原因,,涉及github源码的安装可能需要多次重试
tensorflow也只能通过git clone下载,直接网页上下载.zip文件会缺少依赖的项目
5、编译中各种warning,忽略即可;编译时间很长。。。。
6、安装完成的tensorflow不在 python/dist-packages下,,这个和CPU版不同!!
可以通过which tensorboard查看tensorboard安装目录,,但是tensorflow安装到哪儿了还真不知道。。。。
7、cuda8和cudnn4 良好兼容 (gtx960m可以,但在gtx 1080上计算结果有问题)
注意: cudnn只在计算卷积时被调用!!! 计算全连接网络时根本不会调用cuDNN,也就不用管这部分是否正确安装了!!(但是必须安装)
8、提示找不到cuda头文件时
症状:undeclared inclusion(s) in rule '//tensorflow/core/kernels:depth_space_ops_gpu'
在tensorflow/third_party/gpus/crosstool中编辑CROSSTOOL.tpl,增加一行明确指定cuda位置的配置(估计时自动设置cuda版本时没设置对)
9、_objs/batchtospace_op_gpu/tensorflow/core/kernels/batchtospace_op_gpu.cu.pic.d (No such file or directory)
解决方案:
修改tensorflow/third_party/gpus/crosstool/CROSSTOOL
在每个cxx_flag: "-std=c++11"后增加一行:
cxx_flag: "-D_MWAITXINTRIN_H_INCLUDED"
参见:https://github.com/tensorflow/tensorflow/issues/2143
10、nvcc不支持gcc 5.4
症状:error -- unsupported GNU version! gcc versions later than 5.3 are not supported!
解决方案:直接用双斜杠注释掉/usr/local/cuda/include/host_config.h中的对应行
参见(此教程还有theano,caffe配置):http://blog.csdn.net/hjimce/article/details/51999566
11、运行测试用例时结果出现NaN
据说可以不用管,可能只运行一个session时就没问题了
https://github.com/tensorflow/tensorflow/issues/2037
12、No GPU kernel for XXX
这个不是bug,在自己的代码中去掉with tf.device('/gpu:0'): 这种显式指定gpu设备的语句即可(或者只对某些语句,比如卷积,显式指定gpu运行)。 原因时某些操作只能在CPU上执行。
参见:http://stackoverflow.com/questions/37439299/no-gpu-kernel-for-an-int32-variable-op
13、重新安装tensorflow
先卸载原来的:
具体可以参考以下几篇文章:
深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0:http://www.tuicool.com/articles/JvUvQjZ
Ubuntu 16.04下安装Tensorflow(GPU)http://blog.sina.com.cn/s/blog_672f698e0102wavp.html
Nvidia GTX 1080 on Ubuntu 16.04 for Deep Learning http://yangcha.github.io/GTX-1080/
注意其中在安装cuda8时的 --override 选项
http://cn.soulmachine.me/2016-08-17-deep-learning-cuda-development-environment/
官方安装文档:https://www.tensorflow.org/versions/master/get_started/os_setup.html
此教程还有theano,caffe配置:http://blog.csdn.net/hjimce/article/details/51999566
别人编译好的GPU版的tensorflow:https://github.com/tensorflow/tensorflow/issues/4030
tensoflow 1.0 发布了,索性更新一下cuda和cudnn
结果就找不到设备了,显示无法加载 libcuda.so.1!!!
后来,运行cuda的deviceQuery例程,显示找不到cuda设备!!!原因是显卡驱动不兼容。。。。(我是通过系统设置更新的,降回到之前的驱动再重启就没问题了)
至于cuda的更新,官网下个.run安装包,运行“sudo sh cuda_8.0.61_375.26_linux.run”即可(More 页面可以通过+2200直接跳到最后)。
tensorflow1.0的编译很顺利,按照官网的命令顺序即可,只是,需要注意的是,bazel必须更新到0.4.4, 否则刚开始config就会有第三方依赖找不到之类的错误
这里只说一下遇到的坑:
1、装完cuda后,运行测试示例,提示显卡驱动版本不对,找不到cuda设备,,重启就行了
2、装完了别忘了设置环境变量,
编辑或创建 ~/.bash_profile 文件,添加如下两行:(注意自行核对cuda安装目录)
引用
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64"
export CUDA_HOME=/usr/local/cuda
export CUDA_HOME=/usr/local/cuda
不知道添加到 ~/.bash_profile 文件是不是只在命令行下有效?
在eclipse中运行时提示能够加载cuda,但是无法找到cudnn,最后将这两行也添加到了/etc/profile文件末尾,并重启后,,可以加载cudnn了
3、bazel的安装 可以采用apt-get方式,很简单
具体参见http://bazel.io/docs/install.html的 Using Bazel custom API repository (recommended) 一节中的2、3步
bazel是google打类似make的构建工具,,说是速度快,,还真没看出来。。。。
4、由于众所周知的网络原因,,涉及github源码的安装可能需要多次重试
tensorflow也只能通过git clone下载,直接网页上下载.zip文件会缺少依赖的项目
5、编译中各种warning,忽略即可;编译时间很长。。。。
6、安装完成的tensorflow不在 python/dist-packages下,,这个和CPU版不同!!
可以通过which tensorboard查看tensorboard安装目录,,但是tensorflow安装到哪儿了还真不知道。。。。
7、cuda8和cudnn4 良好兼容 (gtx960m可以,但在gtx 1080上计算结果有问题)
注意: cudnn只在计算卷积时被调用!!! 计算全连接网络时根本不会调用cuDNN,也就不用管这部分是否正确安装了!!(但是必须安装)
8、提示找不到cuda头文件时
症状:undeclared inclusion(s) in rule '//tensorflow/core/kernels:depth_space_ops_gpu'
在tensorflow/third_party/gpus/crosstool中编辑CROSSTOOL.tpl,增加一行明确指定cuda位置的配置(估计时自动设置cuda版本时没设置对)
cxx_builtin_include_directory: "/usr/local/cuda%{cuda_version}/include" cxx_builtin_include_directory: "/usr/local/cuda-8.0/include"
9、_objs/batchtospace_op_gpu/tensorflow/core/kernels/batchtospace_op_gpu.cu.pic.d (No such file or directory)
解决方案:
修改tensorflow/third_party/gpus/crosstool/CROSSTOOL
在每个cxx_flag: "-std=c++11"后增加一行:
cxx_flag: "-D_MWAITXINTRIN_H_INCLUDED"
参见:https://github.com/tensorflow/tensorflow/issues/2143
10、nvcc不支持gcc 5.4
症状:error -- unsupported GNU version! gcc versions later than 5.3 are not supported!
解决方案:直接用双斜杠注释掉/usr/local/cuda/include/host_config.h中的对应行
参见(此教程还有theano,caffe配置):http://blog.csdn.net/hjimce/article/details/51999566
11、运行测试用例时结果出现NaN
bazel-bin/tensorflow/cc/tutorials_example_trainer --use_gpu
据说可以不用管,可能只运行一个session时就没问题了
https://github.com/tensorflow/tensorflow/issues/2037
引用
Please try "--num_concurrent_sessi and "--num_concurrent_steps=1" for your experiments. If you don't see any exceptions with those, then everything is good.
12、No GPU kernel for XXX
这个不是bug,在自己的代码中去掉with tf.device('/gpu:0'): 这种显式指定gpu设备的语句即可(或者只对某些语句,比如卷积,显式指定gpu运行)。 原因时某些操作只能在CPU上执行。
参见:http://stackoverflow.com/questions/37439299/no-gpu-kernel-for-an-int32-variable-op
13、重新安装tensorflow
先卸载原来的:
sudo pip uninstall tensorflow
具体可以参考以下几篇文章:
深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0:http://www.tuicool.com/articles/JvUvQjZ
Ubuntu 16.04下安装Tensorflow(GPU)http://blog.sina.com.cn/s/blog_672f698e0102wavp.html
Nvidia GTX 1080 on Ubuntu 16.04 for Deep Learning http://yangcha.github.io/GTX-1080/
注意其中在安装cuda8时的 --override 选项
http://cn.soulmachine.me/2016-08-17-deep-learning-cuda-development-environment/
官方安装文档:https://www.tensorflow.org/versions/master/get_started/os_setup.html
此教程还有theano,caffe配置:http://blog.csdn.net/hjimce/article/details/51999566
别人编译好的GPU版的tensorflow:https://github.com/tensorflow/tensorflow/issues/4030
发表评论
-
tensorflow 静态编译笔记 -- linux系统
2018-11-05 14:26 0注: 1、编译tensorflow静态库 很简单,参见: h ... -
通过multiprocessing模块及时释放tensorflow的资源
2018-09-18 13:29 4203在使用tf.data等模块时,tensorflow会产生内存泄 ... -
Tensorflow 通过性能分析工具查看变量位置
2017-03-30 16:20 5296发现个更好的方法,只 ... -
tensorflow中的word2vec
2017-03-21 11:12 0官方tutorial: https://www.tensorf ... -
tensorflow 字符串转数字(hash函数, 字符串解析为数字)
2017-02-10 10:42 0问题描述 tensorflow可以直接解析csv文件, 但是对 ... -
tensorflow 单机多卡示例--数据并行
2017-01-05 14:44 9527本文参考自官方的cifar10 ... -
神经网络的初始误差估计-采用cross-entropy误差时
2016-09-28 10:14 1581初始状态下,由于网络的权重时随机初始化的,任意一个样本被分配到 ... -
tensorflow杂记
2016-09-18 12:04 11626本文记录使用tensorflow AP ... -
Keras切换backend : theano --> tensorflow
2016-09-07 10:57 67131、切换backend 修改~/.keras/keras.js ... -
神经网络计算加法---tensorflow中的变量的embedding表示
2016-07-28 10:53 10106将category变量输入到神经网络中时需要进行embeddi ... -
tensorflow 之tensorboard
2016-07-12 11:15 01、端口被占用 开启第二个tensorboard时会出现此种情 ... -
windows 10下安装GPU版MXNet
2016-06-03 21:28 8591上回说到编译CPU版的MXNet: http://cheris ... -
cs231n 笔记
2016-05-26 23:36 01、python3中 cifar10数据库的读取 cs231n ... -
mxnet资料汇总
2016-05-23 23:13 0MXNet设计和实现简介(中文版):http://mxnet. ... -
windows下安装CPU版mxnet
2016-05-23 23:14 17595MXnet (mix net)类似Caffe,Tensorfl ... -
使Visual Assist X支持CUDA的.cu文件的代码提示
2015-07-17 00:05 2305现在安装CUDA很方便了,直接支持Visual Studio。 ... -
CUDA程序block和thread超出硬件允许值时的异常
2015-07-13 11:32 3752调用CUDA的核函数时指定block 和 thread大小,该 ... -
吐槽一下UFLDL上神经网络反向传播算法的公式
2014-09-28 21:52 4085在斯坦福的神经网络课件的反向传播算法一节(http://ufl ...
相关推荐
总结:在Ubuntu 16.04上安装TensorFlow GPU版需要经过一系列的步骤,包括系统准备、安装git、克隆TensorFlow仓库、安装bazel、配置依赖、配置安装选项、编译和安装以及验证安装。每个步骤都需要仔细操作,遇到问题时...
在Ubuntu环境下安装支持GPU加速的TensorFlow开发环境是一项涉及多个步骤的技术操作。首先,我们需要准备和安装NVIDIA的CUDA工具包和cuDNN库,这些是TensorFlow能够利用NVIDIA GPU进行计算加速所必须的组件。接下来,...
2. **编译TensorFlow源码**:从官方仓库获取源码,配置编译选项以支持GPU,然后进行编译和安装。 3. **配置环境**:设置系统路径,使Python可以找到编译好的TensorFlow库。 4. **测试代码**:编写Python脚本,导入...
主要参考了这篇博客:ubuntu16.04 + Anaconda + CUDA10 + cudnn + pytorch + pycharm 1. 创建单独的Anaconda环境!! 单独的Python环境真的比较重要,我这里创建了python 3.6的环境pytorch 2. 安装显卡驱动 这一步...
tensorflow1.8.0rc+python2.7+ubuntu16.04+cuda9.0+cudnn7.1源码编译包
在Ubuntu 16.04操作系统中编译DCNv2,首先需要确保系统已安装了必要的依赖项。这包括CUDA 10.0,它是NVIDIA提供的用于GPU加速计算的库,以及CUDNN 7.1.3,这是一个针对深度学习优化的CUDA库,用于加速神经网络的前向...
ubuntu16.04下源码编译GPU版本的tensorflow1.4.2,支持cuda8.0,cudnn6.0
在本教程中,我们将深入探讨如何在Ubuntu 16.04.4 LTS(Xenial Xerus)桌面版上构建一个完整的深度学习环境。这个环境包括CUDA、cuDNN、Matlab、Python、Nccl、OpenCV、Caffe以及PyTorch和TensorFlow。以下是对每个...
- **操作系统**:TX2通常预装了Ubuntu 16.04或18.04 LTS。确保系统是最新的,因为TensorFlow可能需要最新的安全更新和库。 - **Python**:TensorFlow主要支持Python 3.x,所以需要安装Python 3及其pip(Python的包...
ubuntu16.04编译tensorflow1.6.0rc源码得到的python2.7库,可以通过pip安装
首先,需要安装 torch,安装 gpu 版本的 torch 可以使用以下命令:`pip install torch==1.8.0+cpu torchvision==0.9.0+cpu torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html` 然后,需要...
- 安装TensorFlow GPU版:`pip install tensorflow-gpu` - 若通过pip安装失败,可尝试指定下载链接进行安装,例如: - CPU版:`sudo pip install --upgrade \...
在Ubuntu 16.04、17.10和18.04上,可以通过NVIDIA官方网站获取最新驱动,或者使用`nvidia-driver`软件包通过apt-get命令安装。 接着,我们要安装CUDA工具包,它是NVIDIA为GPU计算提供的软件平台。CUDA提供了C++、...
ubuntu16.04 64bit cuda9.0 cudnn7.1 源码安装tensorflow 1.安装java8 sudo add-apt-repository ppa:webupd8team/java //添加java源 sudo apt-get update sudo apt-get install oracle-java8-installer java -...
Ubuntu:16.04(64bit) Anaconda:2-4.4.0(python 2.7) TensorFlow:1.5.1 numpy:1.14.3 gensim:3.4.0 (nltk:3.2.3) jieba:0.39 word2wec中文训练模型 【运行】 模型训练 # python train.py 模型评估 # ...
1.OpenCV下载 首先创建一个空的文件夹,进入文件夹执行如下命令,如我创建的文件夹是opencv-python ...使用cmake编译opencv源码,在编译前请确认所有的依赖项已经正确安装,可执行如下命令: sudo apt-get ins
手肘法matlab源码预测Visuo-Motor深度动态神经网络(P-VMDNN) 这是P-VMDNN(预测Visuo-Motor深度动态神经网络)的TensorFlow实现。 有关该模型的更多信息,请参见。 概括 入门 前提条件/测试环境 该模型在以下环境...
环境阿里云服务器:Ubuntu 16.04 Python版本:3.6 Tensorflow:1.5第一步:来一个Flask实例,并跑起来:使用的是Pycharm创建自带的Flask项目,xxx.py from flask import Flaskapp = Flask(__name__)@app.route('/')...
3. **Ubuntu 16.04**:这是一个基于Debian的Linux发行版,广泛用于服务器和开发环境。Ubuntu 16.04(Xenial Xerus)提供长期支持,适合需要稳定环境的项目。在这个平台上编译OpenCV可以确保兼容性和稳定性。 4. **...
ubuntu16.04 python3.6.5 tensorflow1.8.0 opencv3.4.3 pip install tqdm为了显示进度条 代码介绍 data下放置训练所用的原始数据和划分数据,生成的tfrecord等 detection下的fcn_detector.py主要用于PNet的单张...