sxyqhyt
- 浏览: 79381 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
sc.parallelize(List((stattime,"pv",1L),
(stattime,"ip",2L),
(stattime,"uv",3L),
(stattime,"newuser",4L),
(stattime,"beakrate",5L),
(stattime,"visittimes",6L),
(stattime,"avgvisittime",7L ...
def visitview(vtimes : Iterable[String]): Long ={
var times = 0L
if(vtimes.size == 0){
}else{
val lb = scala.collection.mutable.ListBuffer.empty[String]
for(vtime <- vtimes){
lb.append(vtime)
}
times = 1L
val list = lb.toList.sorted
...
1、flume配置文件
agent1.sources = r1
agent1.channels = c1
agent1.sinks = k1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /opt/soft/tomcatloging/logs/test.log
agent1.sources.r1.batchSize = 10
agent1.sources.r1.channels= c1
agent1.sinks.k1.type = org.apache.flume.sink.Kafk ...
bin/zookeeper-server-start.sh config/zookeeper.properties & //启动zookeeper服务
bin/kafka-server-start.sh config/server.properties &
创建topic
bin/kafka-topics.sh --create --zookeeper 172.18.90.51:2181 --replication-factor 3 --partitions 1 --topic test22
列出topic
bin/kafka-topics.sh --zookeep ...
查看SELinux状态：
1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态
SELinux status: enabled
2、getenforce ##也可以用这个命令检查
关闭SELinux：
1、临时关闭（不用重启机器）：
...
bin/zkServer.sh start //启动服务
bin/zkServer.sh stop
bin/zkCli.sh -server 127.0.0.1:2181 //客户端连接
delete /dubbo //删除指定节点，只能删除非空节点
rmr /dubbo //删除dubbo节点及子节点
ls / //使用ls查看当前zookeeper中所包含的内容
ls2 / //查看当前节点数据并能看到更新次数等数据
echo stat|nc 127.0.0.1 2181 //查看哪个节点被选择作为followe ...
错误如下：
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'sqlSessionFactory' defined in class path resource [applicationContext.xml]: Initialization of bean failed; nested exception is java.lang.reflect.MalformedParameterizedTypeException
at org.springframewor ...
1、SparkPi.scala源码（官网例子）
import scala.math.random
import org.apache.spark._
/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new SparkContext(conf)
val ...
获取SessionFactory的方法
方法一：
Configuration cfg = new Configuration().configure();
SessionFactory factory = cfg.configure().buildSessionFactory(new StandardServiceRegistryBuilder().build());
方法二：
Configuration cfg = new Configuration().configure();
ServiceRegistry registry = new ServiceRegist ...
HBase提供了Java API对其进行管理,包括对表的管理、数据的操作等。 HBaseAdmin —— 对表的创建、删除、显示以及修改等。 HTable —— 通过HTable的实例来访问表并进行数据的操作。
package test;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apa ...
打开第一个cmd窗口，切换到mysql的bin目录，运行命令：
mysqld --defaults-file="C:\Program Files\MySQL\MySQL Server 5.1\my.ini" --console --skip-grant-tables
注释：
该命令通过跳过权限安全检查，开启mysql服务，这样连接mysql时，可以不用输入用户密码。 此时已经开启了mysql服务了！
这个窗口保留 不关闭。
2、打开第二个cmd窗口，连接mysql：
输入命令：
mysql -u root -p
出现：
Enter password:
在这里直接回车 ...
1．背景
1.1 共享Hadoop集群
当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资 ...
import java.util.Properties;
Properties props=System.getProperties(); //获得系统属性集
String osName = props.getProperty( "os.name" ); //操作系统名称
String osArch = props.getProperty( "os.arch" ); //操作系统构架
String osVersion = props.getProperty( "os.version" ); //操 ...
hadoop源码 svn地址：
http://svn.apache.org/repos/asf/hadoop/common/branches/
http://subclipse.tigris.org/servlets/ProjectProcess?pageID=p4wYuA