cherishLC
- 浏览: 692262 次
- 性别:
- 来自: 北京
-
最新评论
-
jeffersonz：
请问大神，这个插件记录下来的脚本为什么不能再Extendscr ...
PhotoShop - 记录PS的所有操作为JavaScript代码 -
cherishLC：
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项；MKL的使用 -
Andy__Zou：
cherishLC 写道Andy__Zou 写道cherish ...
Eigen的编译选项；MKL的使用 -
cherishLC：
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项；MKL的使用 -
Andy__Zou：
cherishLC 写道Andy__Zou 写道 您好，您的工 ...
Eigen的编译选项；MKL的使用
文章列表
1、遇到的问题
linux系统中同时存在python2和python3，且多人共同使用，不方便设置任意一个版本为默认版本
2、解决方法
pyenv可以将一个文件夹及其子文件夹中的默认python设为python2或python3
使用方法：
利用pyenv versions 查看已安装的python版本，比如得到
anaconda3-4.3.1/envs/py3.5
anaconda3-4.3.1/envs/py2.7
cd /home/userA
pyenv local anaconda3-4.3.1/envs/py2.7 将2.7版本设为默认的python
则目录 /home ...
注：所有需要的包都可以通过http://search.maven.org 中搜索包名（比如spark-csv）进行下载；
spark2中已经包含了这些包，直接用即可，而且支持同时读取多文件夹下的文件
参见：https://stackoverflow.com/questions/37639956/how-to-import-multiple-csv-f ...
1、屏蔽std::cout
参见：http://stackoverflow.com/questions/8246317/redirecting-function-output-to-dev-null
有时我们要将自己的程序嵌入到其他服务中去，服务一般会有自己的日志系统，但为了我们自己的代码可以单独调试，还是使用cout方便。
当我们调试完自己的代码后，可以通过以下方式屏蔽cout的输出：
方法1：重定向（输出到null设备自然就没输出了）：
引用 ofstream file("/dev/null");
//save cout stream buffer
streambuf ...
1、安装
ubuntu下的安装很简单（虽然要安装几个包）：
具体参见：https://github.com/google/protobuf/blob/master/src/README.md
从github下载了源码后：
$ sudo apt-get install autoconf automake libtool curl make g++ unzip
$ ./autogen.sh
$ ./configure
$ make
$ make check
...
发现个更好的方法，只需要配置下session的config即可：
config=tf.ConfigProto(allow_soft_placement=True,log_device_placement=True)
config.gpu_options.allow_growth=True
sess=tf.Session( config=config)
然后在控制台的输出中即可看到变量的位置信息，allow_soft_placeme ...
博客http://blog.csdn.net/ksearch/article/details/23131269
中介绍了使用sys._getframe()方法获取行号等信息的方法，
但是知乎上有人说这些方法不在python标准内，
这里采用traceback模块实现
我们平时所见的stack trace就是通过traceback模块实现的，比如：
def test_traceback():
import traceback
traceback.print_stack(limit=2) # 打印函数调用堆栈
traceback.print_exc() # 无异常时为 ...
本文参考自官方的cifar10分类示例：
https://www.tensorflow.org/tutorials/deep_cnn/
多机多卡（未验证）：
http://blog.csdn.net/cq361106306/article/details/52929468
http://weibo.com/ttarticle/p/show?id=2309404005132982440427
本文只保留了必要的代码， 更适合于概 ...
1、启动后台服务
不会写shell脚本，直接调用python：
nohup python Run_service.py loop=1 >dispatch.nohup 2>&1 & #其中的loop=1为参数，需要自己在python里解析sys.argv; 中间的> 用于重定向，可以省略; 最后的&表示非阻塞运行，不用的话没法再执行其他命令
logout #记得此句必不可少，否则服务还是可能被杀掉
2、查看python相关服务
ps -ef |grep python
部分结果如下：
3、停止服务
kill -9 6523 #其中的652 ...
如果日志文件过大，gedit等文本编辑器卡的那叫一个酸爽！！！
于是，就需要一个能够快速定位待分析日志的命令！
而 grep 则是十分合适的！
基本用法
grep string2search filename #搜索文件内容，并返回含有string2search的行
然而，，string2search只是用来定位的，真正需要分析的内容在该行周围啊！！！！
于是乎，就需要 -B 和 -A选项了，
比如
grep -B n -A N string2search filename #显示string2search的前n行到后N行的内容
如果找出的日志过多怎么办？再加上重定向命令就完美 ...
zip 与 unzip相关命令
- 博客分类：
- linux
1、zip 压缩
基本命令：
zip 压缩文件.zip 待压缩文件1 待压缩文件2 ...
压缩文件夹：
zip -r 压缩文件.zip 待压缩文件1 待压缩文件2 ...
分卷压缩（防止某些场景，比如 sz命令 不支持大文件）
下面的例子为将2016开头的所有文件压缩到data.zip中，每个分卷的大小为：
zip -r -s 1G data.zip 2016*
注意，因为unzip不支持分卷，，，所以解压缩之前必须先合并：
zip -s 0 data.zip --out data_in_one.zip
2、unzip 解压缩
基本命令:
unzip 压缩文件.zip
...
spark安装笔记（ubuntu16）
- 博客分类：
- spark
强烈推荐：
安装Hadoop及Spark(Ubuntu 16.04)：http://www.cnblogs.com/bovenson/p/5760856.html
管理页面：
hadoop：localhost:50070
yarn：localhost:8088
spark：localhost:8080
这里仅作为补充：
1、通过ln命令创建软连接
这样不会剔除所安装文件的版本信息，方便升级
ln -s hadoop-2.7.3/ hadoop
2、ssh免密码登陆
root用户下没问题。
普通用户没成功， 尝试了多个教程（修改文件夹权限什么的）
3、教程
官网的就很不错：
...
xgboost 安装、绘图笔记
- 博客分类：
- xgboost
系统：ubuntu 16.04
当前文档很不错了：https://xgboost.readthedocs.io/en/latest/build.html
1、下载源码
一行命令搞定，下载的源码在当前文件夹下，会创建一个xgboost目录
git clone --recursive https://github.com/dmlc/xgboost
修改导出文件的精度
在src/tree/tree_model.cc中，修改如下方法，增加一行fo.precision(20);
std::string RegTree::Dump2Text(const FeatureMap& fmap, b ...
本文主要是整理看过的不错的文章，具体内容请参考对应链接
1、内存
__slots__使得不用为每个实例分配一个__dict__，对于数量巨多的小对象内存优化显著（降到1/4）
使用cython， 小对象降到使用__slots__的1/2不是问题，参见：http://cython.readthedocs.io/en/latest/src/reference/extension_types.html
2、速度
各种小的注意事项：https://wiki.python.org/moin/PythonSpeed/PerformanceTips
循环外c=time.time; 循环内用 c() ...
初始状态下，由于网络的权重时随机初始化的，任意一个样本被分配到任意一类概率都是近似相等的。也即输出为[1/N, 1/N, ... , 1/N], 则对应的cross-entropy误差为
- [log(1/N)^1+ log(1/N)^0+log(1/N)^0+... ]=log(N) （注意这部分不包含regularization的误差）
结果记录如下（程序在最后），备忘：
引用2
[ 0.69314718]
3
[ 1.09861231]
4
[ 1.38629436]
5
[ 1.60943794]
6
[ 1.79175949]
7
[ 1.94591022]
8
[ 2.07 ...
tensorflow杂记
- 博客分类：
- tensorflow
- 神经网络
本文记录使用tensorflow API过程中的遇到的一些坑
0、change log
API的改变还是要关注的，比如0.11版本增加了对hadoop的支持：
https://github.com/tensorflow/tensorflow/blob/master/RELEASE.md
1、调试
print大法好：
tf.Print 可以在计算一个变量的同时， ...