onway417
- 浏览: 91075 次
-
最新评论
文章列表
12、oracle--查询/连接/层次查询
- 博客分类：
- DB
实例;http://www.1keydata.com/cn/sql/sql-truncate.php
会话隔离：
备份表
create table table_name1 as select * from emp;
最常用的SELECT:
SELECT的基本构成
DUAL
查询（ query）和子查询（ subquery）
层次查询
集合
连接
WITH语句
理解SELECT语法图
执行顺序：
where最新执行
group by
order by
详细顺序：
from：对from子句中的前两个表执行笛卡尔积（Cartesian product)(交叉联接），生成虚 ...
12、数据分析系统Hive/Pig
- 博客分类：
- DFS/KDD
Hive(Facebook)构建在Hadoop之上的数据仓库；数据计算使用MR，数据存储使用HDFS
Hive 定义了一种类 SQL 查询语言——HQL；类似SQL， 但不完全相同
可认为是一个HQL-->MR的语言翻译器。
Hive装在一个节点就可以了，
Hive On HBase
使用HQL ...
11、oracle--pl/sql
- 博客分类：
- DB
JDBC, 全称为Java DataBase Connectivity standard, 它是一个面向对象的应用程序接口（API）, 通过它可访问各类关系数据库。JDBC也是java核心类库的一部分。
ODBC(Open Database Connectivity)数据库的一个组成部分，提供了一组对数据库访问的标准API（应用程序编程接口）。
配置tnsnames.ora
本机、远端
D:\utilprogram\product\12.1.0\dbhome_1\NETWORK\ADMINORCL =
(DESCRIPTION =
(ADDRESS = ( ...
11、hadoop--数据收集原理
- 博客分类：
- DFS/KDD
常见的两种数据来源
分散的数据源：
机器产生的数据；
用户访问日志;
用户购买日志;
传统系统中的数据：
传统关系型数据库:MySQL、 Oracle等;
磁盘阵列;
磁带.
常见的Hadoop收集与入库系统：
数据收集
Flume
Kafka
Scribe
传统数据库与Hadoop同步
Sqoop
file-->hadoop
rdbs<-->hadoop(hbase/hive)利用MapReduce
我的梦 好多
我很好 你呢
两分钟之后就要天亮了
几分钟之后我也该忘了
想念爱没什么用当三月过去了
时间会走 我不走
可能爱停在风中但三月过去了
别人都懂 我不懂
我们用心交换爱情而寂寞
我们一起因为爱情辛苦着
两个人的那时候随三月过去了
总有一个 会记得
三月过去了好几周
世界开始有点热
参不透的那种难过
忽然觉得没什么
http://music.163.com/?module=my#/song?id=28700951
每晚夜里自我独行
随处荡多冰冷
以往为了自我挣扎
从不知她的痛苦
细雨带风湿透黄昏的街道
抹去雨水双眼无辜的仰望
望向孤单的晚灯
是那伤感的记忆
喜欢你那双眼动人
笑声更迷人
愿再可轻抚你
那可爱面容
挽手说梦话
像昨天你共我
http://music.163.com/#/song?id=5254134
10、zookeeper
- 博客分类：
- DFS/KDD
zookeeper是一个针对大型分布式系统的可靠协调系统；提供的功能包括：配置维护、名字服务、分布式同步、组服务等；目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户；
zokeeper已经成为Hadoop生态系统中的基础组件。
Zookeeper数据模型
每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识；
节点 Znode可以包含数据和子节点（EPHEMERAL类型的节点不能有子节点）；
Znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据需带上版本；
...
9、HBase客户端程序开发
- 博客分类：
- DFS/KDD
开发接口实现方式：
Native Java API 最常规和高效的访问方式；Java API是访问Hbase最快的方式。
HBase Shell HBase的命令行工具，最简单的接口，适合HBase管理使用；
Thrift Gateway 利用Thrift序列化技术，支持C++， PHP， Python等多种语言。
REST Gateway 支持REST 风格的Http API访问HBase, 解除了语言限制；
MapReduce 直接使用MapReduce作业处理Hbase数据，使用Pig/hive处理Hbase数据。
一、java开发
步骤1 ...
7、Hbase基本框架
- 博客分类：
- DFS/KDD
HBase是一个构建在HDFS上的分布式列存储系统；
HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
从逻辑上讲， HBase将数据按照表、行和列进行存储。
Hbase与HDFS对比：
两者都具有良好的容错性和扩展性，都可以扩展到成百上千个节点；
HDFS适合批处理场景：
不支持数据随机查找
不适合增量数据处理
不支持数据更新
Hbase表的特点：
大：一个表可以有数十亿行，上百万列；
无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列 ...
7、Yarn--MapReduce2.0
- 博客分类：
- DFS/KDD
1、yarn介绍：
MapReduce 2.0和YARN区别：
YARN是一个资源管理系统，负责资源管理和调度
MapReduce只是运行在YARN上的一个应用程序
如果把YARN看做“android”，则MapReduce只是一个“app”
MapReduce 1.0和MapReduce 2.0区别：
MapReduce 1.0是一个独立的系统，直接运行在Linux之上
MapReduce 2.0则是运行YARN上的框架，且可与多种框架一起运行在YARN上
2、MapReduce特点
易于编程
良好的扩展性
高容错性
适合PB级以上海量数据的离线处理
M ...
6、HA+Federation 详解
- 博客分类：
- DFS/KDD
now is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is nullnow is null
一、准备
1、4台linux系统
2、检查联网
3、检查各hosts文件
4、检查ssh
5、检查各节点的jvm配置
6、将配置好的hadoop目录拷贝到其他节点：
scp -r itcast hadoop@skx2:/home/hadoop
7、检查各配置文件
federation的应用场景
参看：http://www.infoq.com/cn/articles/hadoop-2-0-namenode-ha-federation-practice-zh/
http://blog.csdn.net/strongerbit/article/details/70132 ...
HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。
一、准备
1、4台linux系统；
2、检查联网
3、检查各hosts文件
4、检查ssh
5、检查各节点的jvm配置
6、将配置好的hadoop目录拷贝到其他节点：
scp -r itcast hadoop@skx2:/home/hadoop
7、检查各配置文件
二、启动
1、启动journalnode
在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.s ...
3、hadoop 单节点 安装配置与测试
- 博客分类：
- DFS/KDD
在hadoop/home中创建目录 itcast
mkdir itcast
将hadoopd安装包解压到该目录：
查看java安装路径 whereis java
配置hadoop，需要修改5个文件
1、修改运行环境
vim hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、 配置namenode节点；
vim core-site.xml
<property>
<name>fs.default.name< ...
参看：http://www.cnblogs.com/xdp-gacl/p/3943390.html
JSTL的使用是和EL表达式分不开的，EL表达式可以直接将结果返回给页面;使用JSLT标签的目的就是不希望在jsp页面中出现java逻辑代码(<%%>);
1、JSTL标签库的分类
核心标签(用得最多)
国际化标签(I18N格式化标签)
数据库标签(SQL标签，很少使用)
XML标签(几乎不用)
JSTL函数(EL函数)
JSTL的核心标签库标签共13个，使用这些标签能够完成JSP页面的基本功能，减少编码工作。
从功能上可以分为4类：表达式控制标签、流程控制标签、循环标签 ...