cherishLC
- 浏览: 694619 次
- 性别:
- 来自: 北京
-
最新评论
-
jeffersonz：
请问大神，这个插件记录下来的脚本为什么不能再Extendscr ...
PhotoShop - 记录PS的所有操作为JavaScript代码 -
cherishLC：
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项；MKL的使用 -
Andy__Zou：
cherishLC 写道Andy__Zou 写道cherish ...
Eigen的编译选项；MKL的使用 -
cherishLC：
Andy__Zou 写道cherishLC 写道Andy__Z ...
Eigen的编译选项；MKL的使用 -
Andy__Zou：
cherishLC 写道Andy__Zou 写道 您好，您的工 ...
Eigen的编译选项；MKL的使用
文章列表
对比外部文件或文件夹：
参见https://mcuoneclipse.com/2013/11/28/compare-external-files-in-eclipse/
需要设置快捷键才能用：
引用Select the menu Window > Preferences > General > Keys and assign a shortcut key for ‘Compare with Other Resource‘
然后选中需要比较的文件或文件夹，按设置的快捷键弹出对话框对比即可。
在C++中，可以在成员函数中使用静态变量，从而间接达到在hpp中定义属于某个类的静态变量的目的（无需再在cpp文件中初始化）
然而，这中方案在速度上会有一定的损耗。
1、该变量首次使用时才进行初始化
When do function-level static variables get allocated/initialized?：https://stackoverflow.com/questions/55510/when-do-function-level-static-variables-get-allocated-initialized
2、每次使用都多出一个if语句及atomic操作（ ...
在使用tf.data等模块时，tensorflow会产生内存泄露；当内存泄露发生时，我们期望及时保存checkpoint，返回相应的状态，然后重新启动tensorflow进行增量训练。
如果采用subprocess.call()方案在子进程中调用tensorflow，需要自行实现参数、结果的序列化和反序列化，比较麻烦。
本文给出一种通过multiprocessing模块在子进程中调用tensorflow的实现，传参数so easy
话不多说，上代码：
# coding=utf-8
'''
Created on Sep 18, 2018
@author: colinliang
''' ...
参见：https://stackoverflow.com/questions/3172470/actual-meaning-of-shell-true-in-subprocess
一直对python的subprocess中shell=True 和shell=False（默认）一知半解，现在通过穷举各种用例来融会贯通
个人理解：
1、subprocess.call 中的命令参数是list，如果命令是str，则被自动转为只有一个元素的list
2、subprocess.call(str,shell=True) 等效于 os.system(str)
3、subprocess.call(str,sh ...
1、使用第三方修改后的wormhole工程
原始工程wormhole：https://github.com/dmlc/wormhole
文档：https://media.readthedocs.org/pdf/wormhole/latest/wormhole.pdf
在线文档：https://wormhole.readthedocs.io/en/latest/
下面的这个虽然比较新，但是。。。根本没开发完成！！！
difacto: https://github.com/dmlc/difacto
第三方修改过的：
https://github.com/CNevd/Difacto_DMLC ...
1、running beyond virtual memory
需要修改mapred-site.xml中的内存配置：https://blog.csdn.net/wqhlmark64/article/details/75090365
以及
yarn-site.xml中关闭虚拟内存检测：https://blog.csdn.net/T1DMzks/article/details/78818874
2.清除HDFS的所有文件
引用自：http://bluebubble.iteye.com/blog/1827434
引用开启hadoop的start-all.sh脚本后，执行例子，出现properties ...
1、中文显示乱码
在~/.vimrc 文件中，加入以下内容：
引用set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936
set termencoding=utf-8
set encoding=utf-8
参考自：http://www.cnblogs.com/joeyupdo/archive/2013/03/03/2941737.html
2、保存readonly的文件
:w !sudo tee %
https://stackoverflow.com/questions/28635647/how-can-i-save-a- ...
1、教程
http://www.runoob.com/redis/redis-tutorial.html
redis数据类型：https://redis.io/topics/data-types
2、常用命令
官网：https://redis.io/commands
redis-cli -h 110.120.119.995 -p 9895 -a 89 根据IP和端口链接远程redis-server, 密码为 -a 后的字符串，没密码可以不填-a选项
redis-cli 链接本地redis-server
FLUSHDB 删除当前数据库的所有key
DBSIZE 存储的key的数量
RA ...
解决的问题：
1、通过执行系统的bash命令后，获取其输出（类似python的subprocess模块）
2、将输出从FILE*转换为std::istream，方便按照C++的方式进行处理
获取bash命令的输出：http://www.cnblogs.com/caosiyang/archive/2012/06/25/2560976.html
将文件指针FILE*转换为istream：https://stackoverflow.com/questions/2746168/how-to-construct-a-c-fstream-from-a-posix-file-descriptor
...
具体步骤如下：
1、安装安装 eclipse color theme插件
在 Eclipse menu -> Help-> Eclipse Marketplace 中搜索安装 eclipse color theme插件
2、下载“Intellij Dracula”主题
在 Eclipse menu -> Window -> Preferences -> General -> Appearance -> Color Theme中
点击进入http://www.eclipsecolorthemes.org/， 并搜索“Intellij ...
boost库中的interprocess包可以在共享内存中创建map等复杂类型的数据，
但是不能用std::map，主要原因时其中的指针用的绝对位置，而非相对的
用boost的map，vector等类型，必须显示的指定allocator，因而复杂了不少。
代码小而全的一个实现：http://blog.csdn.net/dx2880/article/details/7315761
我在学习的过程中参考了错误的代码，走了不少弯路。这里贴出的示例主要是将
创建共享内存 和 使用共享内存中的数据 两部分分离成为了两个程序，更符合一般的使用场景（但其实类定义应该引用一个文件）：
注意：经测试， ...
1、hadoop
官网：https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
hadoop fs 下的命令都比较常用，去官网看一遍吧
查看.gz 的文件内容：
引用
无需解压整个文件： hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20
或者 hadoop fs -cat /hdfs_location/part-00000.gz | zmore
需要解压整个文件：hadoop fs - ...
由于爬虫抓取等原因，会导致单一ID的日志条数过多。在spark中，同一ID的日志会被shuffle到单一的节点上进行处理，导致系统运行缓慢！
因为这些用户的访问本来就是无效的，所以可以直接过滤掉这部分用户。
话不多说，scala的DataFrame版输出和代码如下（参考链接见代码注释）：
引用spark version: 1.6.1
Original DataFrame (with fake users):
+---------+------+
| id| movie|
+---------+------+
| u1|WhoAmI|
| u2|Zoppia| ...
linux 定时任务--crontab
- 博客分类：
- linux
网上资料很多，只做摘录：
排版最好的：http://www.cnblogs.com/chen-lhx/p/5996781.html
crontab会每分钟检测一遍当前用户对应的crontab文件中是否有命令符合定时条件，如果有，就执行该命令。
编辑crontab 文件： crontab -e
列出当前用户的所有定时任务: crontab -l
删除所有定时任务： crontab -r
crontab 文件中的一行格式如下：
minute hour day month week /home/xx/command.sh
引用
星号（*）：代表所有可能的值，例如mo ...
1、maven 相关
解决代码提示错误（某些外部依赖库名称红色显示）：
需要设置external library自动导入： 不设置的话spark等library都无法进行代码提示
方法1：在File->Settings 中搜索maven，在importing页卡中勾选"Import Maven projects automatically"
参见：https://stackoverflow.com/questions/11454822/import-maven-dependencies-in-intellij-idea
方法2：右键工程->Maven- ...