oracle_api
- 浏览: 207183 次
- 性别:
- 来自: 深圳
-
最新评论
-
一尾金鱼：
可以作为查询手册了，页面布局也好~
JSP EL -
darkgost：
您好，我按照你的方法，在Service1.cs中添加如下代码： ...
C#Windows 服务制作安装删除. 用户注销后，程序继续运行
文章列表
1. download sqoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop
2 config bashrc
vi ~/.bashrc
export SQOOP_HOME=/usr/local/sqoop
ex ...
Sqoop2安装 (unstable)
- 博客分类：
- Sqoop
1. download sqoop
wget http://apache.fayea.com/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 或
wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
ln -s sqoop-1.99.7-bin-hadoop200 sqoop
2. 确保Hadoop可 ...
1. 配置flume
kafka-source.properties
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1
agent1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
agent1.sources.source1.batchSize = 5000
agent1.sources.source1.batchDurationMillis = 2000
agent1.sour ...
1. 简单的 Producer
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.junit.Test ...
登录zookeeper
zkCli.sh -server centos1:2181
创建topics mytopic
kafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181 --replication-factor 3 --partitions 2 --topic mytopic
zookeeper节点结构
/controller data={"version":1,"brokerid":2,"timestam ...
Kafka 基本应用--创建集群并且容错测试
- 博客分类：
- Kafka
Start zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
Setting up a multi-broker cluster
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
cp config/server.properties config/server-3.properties
config/ser ...
1. download kafka_2.11-0.10.1.0.tgz, upload to /usr/local
cd /usr/local
tar -zxvf kafka_2.11-0.10.1.0.tgz
mv kafka_2.11-0.10.1.0 kafka
2. config
vi ~/.bashrc
export KAFKA_HOME=/usr/local/kafka
export PATH= :$KAFKA_HOME/bin
source ~/.bashrc
vi kafka/config/server.properties
broker. ...
Kafka作用：
1. 分布式流计算平台
2. 类似于消息系统发布订阅数据流
3. 以分布式、副本集群方式存储数据
4. 实时处理数据流
5. 构建实时数据流管道，水平可伸缩、容错、速度快
特点：
1. 巨量数据，TB级
2. 高吞吐量 支持每秒百万消息
3. 分布式 支持在多个server之间进行消息分区
4. 多语言客户端支持
技术特点：
1. 消息缓存与FileSystem的存储，数据被即刻写入OS内核页，并缓存以及清理磁盘（可配置）
2. 消息被消费后，Kafka长时间驻留消息，如有必要可以重复消费。
3. 对分组消息使用消息Set，防 ...
shell脚本监控登录用户是否异常
- 博客分类：
- Linux
1, 下载php
apt install php 或
yum install php
2. 用php命令来判断ip归属地
vi ip.php
<?php
$ip="192.168.1.109";
$json=file_get_contents('http://ip.taobao.com/service/getIpInfo.php?ip='.$ip);
$arr=json_decode($json);
echo $arr->data->country;
echo $a ...
网络神器 Netcat
- 博客分类：
- Linux
参考：
http://www.oschina.net/translate/linux-netcat-command
Netcat 或者叫 nc 是 Linux 下的一个用于调试和检查网络工具包。可用于创建 TCP/IP 连接，最大的用途就是用来处理 TCP/UDP 套接字。
这里我们将通过一些实例来学习 netcat 命令。
1. 在服务器-客户端架构上使用 Netcat
netcat 工具可运 ...
Linux 跳板机脚本
- 博客分类：
- Linux
先生成和分发秘钥：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsassh-copy-id -i .ssh/id_dsa.pub centos2ssh-copy-id -i .ssh/id_dsa.pub centos2
编写脚本 tiaoban.sh
#!/bin/sh
function trapper(){
trap '' INT QUIT TSTP TERM HUB
}
function menu(){
cat <<EOF
==============Host List============== ...
1. downloadwget http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gzmv apache-flume-1.7.0-bin.tar.gz /usr/local/apache-flume-1.7.0-bin.tar.gztar -zxvf apache-flume-1.7.0-bin.tar.gzmv apache-flume-1.7.0-bin flume
2. config ~/.bashrcvi ~/.bashrc
export FLUME_HO ...
Flume
是分布式、可靠、可用性好，用于收集、聚合、移动大量数据。
基于流计算的简单灵活框架。
用于在线分析。
优点：
1. 可以和任意集中式存储进行集成
2. 输入数据的速度大于存储速度，flume会进行缓冲
3 flume提供上下文路由（数据流路线）
4. flume中的事务基于channel，提供了两个事务模型（sender、receiver）确保消息可靠发送。
5. 可靠 容错 可伸缩 可管理 可定制化
Hadoop Put命令的缺点：
1. Put一次只能传输一个文件，当文件增大速度大于传输速度，传输就不及时。
2. Put只能传输已写完的数 ...
1. create table
hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,
salary String, destination String)
COMMENT ‘Employee details’
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED AS TEXTFILE;
2. insert record
hive> insert into employee (e ...