quguilai
- 浏览: 87296 次
- 性别:
- 来自: 北京
-
最新评论
-
bzq19881115：
刚调试了下，很好！最近在学习swt 给份API 谢谢
SWT 滚动条 -
xgj1988：
...
ant macrodef example -
yajie：
现在的suspend(),stop(),resume(),d ...
java Thread
文章列表
indexes.conf
[custom]
homePath = $SPLUNK_DB\custom\db
coldPath = $SPLUNK_DB\custom\colddb
thawedPath = $SPLUNK_DB\custom\thaweddb
tstatsHomePath = volume:_splunk_summaries\custom\datamodel_summary
maxMemMB = 20
maxConcurrentOptimizes = 6
maxHotIdleSecs = 86400
maxHotBuckets = 10
maxDa ...
package splunktest;
import java.io.BufferedWriter;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.net.Socket;
splunk test
- 博客分类：
- splunk
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
<title>Basic Page</title>
<link rel="stylesheet" type=&qu ...
splunk test1
- 博客分类：
- splunk
curl -k -u admin:changeme https://localhost:8089/services/auth/login -d username=admin -d password=changeme
http://dev.splunk.com/view/SP-CAAAEWS
http://docs.splunk.com/Documentation/Splunk/6.6.2/RESTREF/RESTaccess#auth.2Flogin
<!DOCTYPE html>
<html lang="en">
< ...
index route
- 博客分类：
- splunk
https://answers.splunk.com/answers/50761/how-do-i-route-data-to-specific-index-based-on-a-field.html
2012/06/07 10:45:50 service=srvc1 server=node3 score=50 seq=55041
2012/06/07 10:45:50 service=srvc3 server=node1 score=17 seq=55042
2012/06/07 10:45:50 service=srvc2 server=node1 score=67 s ...
用户：租户， soc/hds应用管理员，splunk系统管理员（admin），服务管理员( 管理console)
应用：服务应用（soc/hds）
角色：租户角色，应用开发角色， splunk管理员角色，soc/hds服务管理员角色
能力：
log.hds log.vulscan log.waf log.common log.manual log.soc/hds.mangement
service.soc service.hds
service.soc.internal service.so ...
~Kafka的目的就是要成为一个队列平台，仅仅使用它就能够既支持离线又支持在线使用这两种情况
~consumer group是接收消息的最小单位，也就是consumer group消费的消息只由其中的一个consumer接收。
~每个kafka队列都有分区数，每个分区在物理上对应一个文件夹， 以”topicName_partitionIndex”的命名方式命名，该文件夹下存储这个分区的所有消息(.log)和索引文件(.index)，这 使得Kafka的吞吐率可以水平扩展。
~同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但所有监听此top ...
Spark Stream点滴
- 博客分类：
- spark
~spark stream的工作原理是接收实时输入数据流生成表示RDD序列的Dstream，由spark引擎处理生成按批次的结果流。
~Dstream也提供类似RDD的各种算子，实际上在Dsream上的算子也会传递给起内部的一系列RDD。
DStream 中 有一个HashMap[Time,RDD[T]]类型的对象 generatedRDDs，其中Key为作业开始时间,RDD为该DStream对应的RDD
~Dstream的类型保护InputDstream,TransformedDstream,OutputDstream，其中OutputStream的操作触发job的执行。
~spa ...
http://blog.csdn.net/anzhsoft/article/details/48594363
http://blog.sina.com.cn/s/blog_8813a3ae0102v4d9.html
spark 源码疑问
- 博客分类：
- spark
protected def getInputFormat(conf: JobConf): InputFormat[K, V] = {
val newInputFormat = ReflectionUtils.newInstance(inputFormatClass.asInstanceOf[Class[_]], conf)
.asInstanceOf[InputFormat[K, V]]
newInputFormat match {
case c: Configurable => c.setConf(conf)
case _ =>
}
...
intellij idea 快捷键
- 博客分类：
- spark
ctrl+F12 查看当前类方法
ctrl+H查看类的继承情况
ctrl+shift+H 查看方法的继承情况
ctrl+alt+H查看方法的调用情况
Ctrl+Alt+B 查看实现类
Spark架构与作业执行流程
- 博客分类：
- spark
转载于：http://www.it165.net/pro/html/201404/11952.html
http://blog.csdn.net/hwssg/article/details/38537523
park应用程序的运行架构：
（1）简单的说：
由driver向集群申请资源，集群分配资源，启动executor。driver将spark应用程序的代码和文件传送给executor。executor上运行task，运行完之后将结果返回给driver或者写入外界。
（2）复杂点说：
提交应用程序，构建sparkContext，构建DAG图，提交给scheduler进行解 ...
~spark的核心是把数据源抽象为分布式对象RDD，分布在各个计算节点的内存中。本地计算+内存+集群计算使得spark效率比较高。
~对于用户来说RDD自带各种算子，使得编写分布式程序和本地程序一样，而spark通过把RDD的算子转换 ...