lingzhi007
- 浏览: 127170 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
Spark 还有两个很实用的功能。
一个是广播（broadcast）变量。有些数据，如lookup表，可能会在多个作业间反复用到；这些数据比RDD要小得多，不 宜像RDD那样在节点之间划分。解决之道是提供一个新的语言结构——广播变量，来修饰此类数据。Spark运行时把广播变量修饰的内容发到各个节点，并保 存下来，未来再用时无需再送。相比Hadoop的distributed cache，广播内容可以跨作业共享。Spark提交者Mosharaf师从P2P的老法师Ion Stoica，采用了BitTorrent（没错，就是下载电影的那个BT）的简化实现。有兴趣的读者可以参考SIGCOMM' ...
下面这段在网上拷贝的
宽依赖 和窄依赖 说明该操作是 是否有shuffler 操作 成长(lineage )的来源
最有趣的部分是DAGScheduler。下面详解它的工作过程。RDD的数据结构里很重要的一个域是对父RDD的依赖。如图3所示，有两类依赖：窄（Narrow）依赖和宽（Wide）依赖。
图3 窄依赖和宽依赖
窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为一个父RDD的分区对应于一个子RDD的分区，和两个父RDD的分区对应于一个子RDD 的分区。图3中，map/filter和union属于第一类，对输入进行协 ...
RDD 值查看
初学习spark ，瞄对象的值可以帮助我们理解
var file = sc.textFile("data.txt")
file.foreach(println)
就可以了
sudo apt-get install build-essential libgtk2.0-dev libjpeg-dev libtiff4-dev libjasper-dev libopenexr-dev cmake python-dev python-numpy python-tk libtbb-dev libeigen2-dev yasm libfaac-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev libx264-dev libqt4-dev li ...
1 修改背景
general editors text editors backgroudcolor
这个苹果绿，或者称豆沙绿，的具体色彩值是：色调（Hue）84、饱和度（Sat）91、亮度（Lum）205。对应RGB值为（204, 232, 207），对应网页色彩值为#CCE8CF。这个色彩参数，可以根据个人的喜好稍作修改，让自己用电脑的候感觉到最舒服为宜。把浏览器和窗口背景调成这个颜色，据说对眼睛有好处，尤其是用计算机时间比较长的人。
2 默认文件方式
GENERAL CONTENT TYPES 选择文件方式 在下面选择 对应的文件格式
1、查看链接数明细
mysqladmin -uroot processlist
1、查看链接数明细概要
mysqladmin -uroot status
vpn anycall 后linux 无法上网
是由于 cisco anycall 后 改变了 resole.conf 找不到dns 所以无法上网了
eclipse + hadoop
main class
org.apache.hadoop.util.RunJar
index v1.jar key keyinput output1000000
vm -Dproc_jar -Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop/hadoop-1.0.4/libexec/../logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/hadoop/hadoop-1.0.4/libexec ...
phash jni
只需要图片的支持 jni 的支持
需要安装 cimg
./configure --enable-video-hash=no --enable-audio-hash=no --enable-java
make
sudo make install
ldconfig
装玩后 phash 出错 报告sh gm 没有
sh gm no found
sudo apt-get install graphicsmagick
安装后 正常
# apt-get update——在修改/etc/apt/sources.list或者/etc/apt/preferences之後运行该命令。此外您需要定期运行这一命令以确保您的软件包列表是最新的。 # apt-get install packagename——安装一个新软件包（参见下文的aptitude） # apt-get remove packagename——卸载一个已安装的软件包（保留配置文件） # apt-get --purge remove packagename——卸载一个已安装的软件包（删除配置文件）
今天，把windows下的工程导入到了Linux下eclipse中，由于以前的工程代码，都是GBK编码的，而Ubuntu默认是不支持GBK编码的。所以，首先我们要先让Ubuntu支持GBK，方法如下：
修改/var/lib/locales/supported.d/local文件,在文件中添加
zh_CN.GBK GBK
zh_CN.GB2312 GB2312
sudo dpkg-reconfigure --force locales
然后在输出的结果中会出现
zh_CN.GB2312 done
zh_CN.GBK done
这样， Ubuntu就支持GBK ...
转 http://wangchengtai.blog.hexun.com/39388948_d.html
Unix/Linux 磁盘 I/O 性能监控命令
磁盘 I/O 性能监控指标和调优方法
在介绍磁盘 I/O 监控命令前，我们需要了解磁盘 I/O 性能监控的指标，以及每个指标的所揭示的磁盘某方面的性能。磁盘 I/O 性能监控的指标主要包括：
指标 1：每秒 I/O 数（IOPS 或 tps）
对于磁盘来说，一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和。当传输小块不连续数据时，该指标有重要参考意义。
指标 ...
转自
http://nosql-db.com/topic/51556970ca60a10d420148e4
之前装过，忘了 ，找了篇博客 COPY作记录
MongoDB python和MongoDB c++驱动安装
java 简单，略过。python
$ git clone git://github.com/mongodb/mongo-python-driver.git pymongo
$ cd pymongo/
$ python setup.py install
ubuntu 12.04 vmware player 安装后加载虚拟机死机
异常信息
system_call_fastpath+ 。。。。。。。。。。。
打补丁后运行正常
补丁见附件。。