我是小小鸟
- 浏览: 248562 次
- 性别:
-
最新评论
文章列表
Spark-编程和执行原理
- 博客分类：
- 分布式
用一个例子来说明
val rdd = sc.parallelize(List(('a',1),('a',2)))
val rdd2 = sc.parallelize(List(('b',1),('b',2)))
val x1 = rdd union rdd2
val x2 = rdd union rdd2
val x3 = rdd union rdd2
val x4 = rdd union rdd2
var a1 = x1 join x2
var a2 = x3 join x4
var a3 = a1 union a2
a3.collect
#结果
...
ElasticSearch-入门
- 博客分类：
- 分布式
简介
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设 ...
Spark-环境搭建
- 博客分类：
- 分布式
搭建hadoop集群
hadoop2.7.3 + spark1.6.1 + scala2.11.8 + jdk1.8.0_101
下载hadoop2.7，修改$HADOOP_HOME/etc/hadoop下的hadoop-env.sh文件
export JAVA_HOME=/soft/jdk1.8.0_101
修改core-site.xml文件(这里讲将数据目录data就放在$HADOOP_HOME下了
<configuration>
<property>
<name>fs.defaultFS ...
名词解释
REST(Representational State Transfer 表述性状态转移) 一种跨平台跨语言的架构风格
REST式的Web服务 是REST在Web领域的实现
JAX-RS 是REST在java领域的标准
Jersey 是JAX-RS标准的参考实现
REST资源地址设计
功能
请求类型
资源地址
添加/创建
POST
/books
PUT
/books/{id}
删除
DELETE
/books/{id}
修改/更新
PUT
/books/{id ...
简介
大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。
(1) 当服务越来越多时，服务URL ...
Hadoop-DataNode分析
- 博客分类：
- hadoop
HDFS主要流程
客户端创建到namenode的文件与目录操作
客户端会调用FileSystem实现也就是DistributedFileSystem的mkdir()函数，之后DistributedFileSystem会通过IPC调用namenode的mkdir()
这个操作会持久化到日志中FSImage#saveFSImage()，之后返回
创建目录只是客户端和namenode交互，不会跟datanode交互
删除文件操作操作类似mkdir()，但是删除操作只是删除namenode中的引用关系，并不会真正删除datanode中的数据， ...
不同阶段DDos攻击事件的特点
时期
使用者
目的
时机
目标
探索期
黑客个体
兴趣和炫耀
随意
随意
工具化
政治宗教商业组织
勒索竞争报复
精确
精确
武器化
国家
网络战
精确
精确
普及化
群体组织
表达主张
受外部事件触发
相关范围
知名僵尸网络
1.ZeroAccess
2.Zeus
3.Pushdo/Cutwail
4.Mariposa
5.Waledac
僵尸网络组建的节点
PC，服务器，移动设备
僵尸网络的控制
IRC，HTTP型，P2P型
...
套接字超时
在设计套接字的IO操作上设置超时的方法有以下三种
1)调用alarm，它在指定超时期慢时产生SIGALRM信号。这个方法设计信号处理，而信号处理在不同实现上
存在差异，而且可能干扰进程中现有的alram调用
2)在select中阻塞等待I/O(select有内置的时间限制)，以此代替直接阻塞在read或者write调用上
3)使用交心的SO_RCVTIMEO和SO_SNDTIMEO套接字选项。这个方法的问题在于并发所有实现都支持这
两个套接字选项
以上三个技术都适用于输入和输出操作(如read，write以及recvfrom，sendto之类的 ...
守护进程(daemon)是在后台运行且不与任何控制终端关联的进程。
启动守护进程的方法
1)在系统启动阶段，许多守护进程由系统初始化脚本启动，这些脚本通常位于/etc/目录或者以/etc/rc开头的某个
目录汇总。有若干个网络服务器通常从这些脚本启动：inetd超级服务器
2)许多网络服务器由inetd超级服务器启动。inetd自身由一个脚本启动。inetd监听网络请求(FTP，telnet等)每当
有一个请求达到时，启动相应的实际服务器(FTP服务器，telnet服务器)
3)cron守护进程按照规则定期执行一些程序，而由它启动执行的程序同样作为守护进程运 ...