y_x
- 浏览: 92798 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
从事互联网行业的同学经常要挖掘数据，例行更新数据，crontab是个必不可少的东西，设置好了时间，他可以自行启动，记录一下使用方法。
* * * * * command
前5个字段分别表示：
分钟：0-59
小时：1-23
日期：1-31
月份：1-12
星期：0-6（0表示周日）
第6个字段，为命令字段，其中包括了crontab调度执行的命令
具体示例：
35 15 * * 4 cd /home/spider/1xiu/strcut_process/video/ && noh ...
1.查看linux下python版本
（1）命令行$ python
Python 2.7.3 (default, May 20 2013, 16:15:52)
[GCC 3.4.5 20051201 (Red Hat 3.4.5-2)] on linux2
（2）python -c 'import platform; print platform.python_version()'
2.7.3
（3）python -c 'import sys; print sys.version' 2
2.7.3 (default, May 20 2013, 16:15:52)
[GC ...
1.awk命令行
awk [ -F fs] [-v var=value] [-f program-file]'program'
-f选项放置在-v前面。
2.awk程序模型
awk把输入流当作是一连串记录的集合，每条记录可以细分为字段。
记录：record
字段：field
3.程序元素
awk有匹配（~）和不匹配（！~）两个运算符。
标量变量，保存单一值得变量。所有awk变量在建立时其初始值为一个空字符串值，当需要数值时，会被视为0.awk的变量名必须以ANSCII字母或者下划线开始，然后选择性的接上字母、数字和 ...
awk中NF $NF
- 博客分类：
- awk
awk下面的变量NF和$NF有什么区别?{print NF}：输出了域个数
{print $NF}：输出最后一个字段的内容
英文文章链接
http://www.smashingmagazine.com/2009/03/17/breadcrumbs-in-web-design-examples-and-best-practices-2/
1.面包屑的由来：
面包屑（或称为面包屑路径）是一种显示用户在网站或网络应用中的位置的二级导航方案。这个术语来自于神话故事《奇幻森林历险记》，故事的两个小主人公丢下一条面包屑路径，然后顺着这条路径回到了家中。就像这个故事一样，在现实世界的应用程序中，面包屑为用户提供一种追踪返回最初访问页面的方式。
如图：tt.bmp
当前位置：I
1.map-reduce
map将输入数据打散，并对其做简单处理，输出。
在hadoop中先进行一个叫做shuffle的过程对中间数据排序，然后由reduce把中间数据合并起来，然后将结果输出。
map任务读入切分后的大规模数据、处理->shuffle对数据排序->reduce进行最后的数据处理。
mapReduce适用于超大规模数据（100TB数量级）且各数据之间相关性较低情况。
2.HDFS（hadoop file system）
hadoop是使用网络松散（单一机器故障不会对集群有影响）组合起来的，多个计算机需要一个统一的文件访问方式，因此hdfs应运而生， ...
生成目录树结构：
ls -R | grep ":$" | sed -e 's/:$//' -e 's/[^-][^\/]*\//--/g' -e 's/^/ /' -e 's/-/|/'
awk 10 与16进制转化
- 博客分类：
- awk
进制转化：
16-10 echo
$((0x4d91902c78ec4000))
10-16 echo
"14836123209266840597" |awk '{printf("%x\n",$0) }'
awk引用bash环境变量的方法
- 博客分类：
- awk
1. awk '{print a, b}' a=1 b=2 input注意：
变量位置要在 file 名之前, 否则就不能调用. 例如:awk '{print a, b}' a=1 file1 b=2 file2file1 不能调用 b=2还有, BEGIN{}中是不能调用这些的variable. 要用之后所讲的第二种方法才可解决.2. awk –v a=1 –v b=2 ‘{print a,b}’ input注意：
对于每个变量都需要加一个 –v 作传递3. awk 'BEGIN{print "'"$PATH"'"}'
其中" ...
预读书籍列表 和站点
- 博客分类：
- 生活ing
只愿你曾被这世界温柔相待
http://kid.qq.com/dongman/cy/cy_new.htm
http://www.doc88.com/p-285364329415.html 20位Hadoop专家分享大数据技术工具与最佳实践 http://www.kuqin.com/database/20121102/333207.html ML Aandrw https://class.coursera.org/ml/lecture/index 可以参考的ML资料 http://blog.csdn.net/abcjennifer/article/details/7691571 htt ...
1.%*3d
int a,b;
scanf("%d %*3d %2d",&a,&b);
printf("a=%d b=%2d\n",a,b)
输入： 1 123 12
输出结果为：1 12
2.free小陷阱
alloc和free是由glibc提供的。glibc是一个具有系统级感觉的用户级程序，负责管理内存堆区，glibc在释放的时候是做了阈值限制的，大于64K的内存块才是被真正的释放。
查看错误代码errno是调试程序的一个重要方法。当linuc C api函数发生异常时,一般会将errno变量(需include errno.h)赋一个整数值,不同的值表示不同的含义,可以通过查看该值推测出错的原因。在实际编程中用这一招解决了不少原本看来莫名其妙的问题。比较麻烦的是每次都要去linux源代码里面查找错误代码的含义，现在把它贴出来，以后需要查时就来这里看了。
以下来自linux 2.4.20-18的内核代码中的/usr/include/asm/errno.h
#ifndef _I386_ERRNO_H
#define _I386_ERRNO_H
#define EPERM 1 ...
Usage: mail [-iInv] [-s subject] [-c cc-addr] [-b bcc-addr] to-addr ...
[- sendmail-options ...]
mail [-iInNv] -f [name]
mail [-iInNv] [-u user]
使用管道最为简单，如
echo "This is first email send by shell" |mail -s "first email shell" ***@**.com
-s后面的"first e ...
一般来说，最简单的就是直接在命令行下输入make命令，make命令会找当前目录的makefile来执行，一切都是自动的。但也有时你也许只想让make重编译某些文件，而不是整个工程，而又有的时候你有几套编译规则，你想在不同的时候 ...
今天编写一个Makefile
弄了半天都是编译不过，说缺少某个函数的定义
但是Makefile路径下有文件定义了该函数
后来找人咨询了一下
原来是-I 和-L的顺序有问题
应该把最基础的依赖放在最下面
比如存在三个依赖，a b c，
a依赖b
b依赖c
则写的顺序应该a b c而不是c b a