本月博客排行
-
第1名
龙儿筝 -
第2名
zysnba -
第3名
johnsmith9th - wy_19921005
- sgqt
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- wy_19921005
- benladeng5225
- fantaxy025025
- javashop
- qepwqnp
- e_e
- 解宜然
- zysnba
- ssydxa219
- sam123456gz
- ranbuijj
- arpenker
- tanling8334
- kaizi1992
- sichunli_030
- xpenxpen
- gaojingsong
- wiseboyloves
- xiangjie88
- ganxueyun
- xyuma
- wangchen.ily
- jh108020
- zxq_2017
- jbosscn
- lemonhandsome
- luxurioust
- Xeden
- lzyfn123
- forestqqqq
- zhanjia
- ajinn
- nychen2000
- wjianwei666
- johnsmith9th
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
数据库专栏最新文章
intersect的用法简介
intersect的用法简介
在Oracle中,“A minus B”用于将结果集B中含有的记录从结果集A中移除,即用于获取存在于结果集A中而不存在于结果集B中的记录;“A union B”和“A union all B”用于获取结果集A和结果集B的并集,其中前者将只保留重复记录中的一条,而后者将保留所有的记录;“A intersect B”用于获取结果集A和结果集B共有的 ...
minus的用法简介
minus的用法简介
“minus”直接翻译为中文是“减”的意思,在Oracle中也是用来做减法操作的,只不过它不是传统意义上对数字的减法,而是对查询结果集的减法。A minus B就意味着将结果集A去除结果集B中所包含的所有记录后的结果,即在A中存在,而在B中不存在的记录。其算法跟Java中的Collection的removeAll()类似,即A minus B将只去除A ...
hadoop发行商介绍:Cloudera
在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。现在国内很多公司也都选用他们的发行版本(CDH)。
Cloudera由来自Facebook、谷歌和雅虎的前工程师杰夫·哈默巴切(Jeff Hammerbacher)、克里斯托弗·比塞格利亚(Christophe Bisciglia)、埃姆·阿瓦达拉(Amr Awadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(Mi ...
管中窥豹之淘宝大数据平台
淘宝这两年比较火,马云为了淘宝整体上市卖个好价钱,吹了不少泡泡。但是从对大数据技术这块来看,个人以为目前淘宝是做的比较好的。淘宝为什么搞得好,还是因为马云本身较早的把数据放到了全公司的战略的地位,所以为了搞好大数据,网罗了不少人才。现在搞数据分析相关技术的同学,如果能拿到的淘宝的OFFER的话,给的都还是比较的高。
下面来简单看下淘宝的技术架构:(淘宝技术也在不停的发展,现在公开的资料可能有些 ...
管中窥豹:腾讯大数据平台
腾讯有中国最全的社交数据,面对一个数据金矿,腾讯不可能坐视不理,腾讯基于hadoop研究了自己的大数据平台,最大的一个集群规模超过5600台。本文简单分析下腾讯的大数据平台的技术特点。
下面这个图是腾讯的技术架构图:
整个系统相对比较简单,主要有以下几大组件组成。
TDBank(Tencent Data Bank):数据实时收集与分发平台。将数据处理系统同数据源解耦,基于“发布-订阅 ...
MPP DB 是 大数据实时分析系统 未来的选择吗?
大数据领域,实时分析系统(在线查询)是最常见的一种场景,前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为TDW,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
当前在实时分析系统中,最难的是多维度复杂查询,目前没有一个很好 ...
实时分析系统(HIVE/HBASE/IMPALA)浅析
1. 什么是实时分析(在线查询)系统?
大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点:
a. 时延低(秒级别)。
b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。
c. 查询范围大(通常查询表记录在几十亿级别)。
d. 返回结果数小(几十条甚至几千条)。
07_MongoDB_GridFS_存储文件
GridFS
mongoDB除了保存各种文档(JOSN结构)外还能够保存文件。GridFS规范提供了一种透明机制,可以将一个大文件分割成为多个较小的文档,这样的机制允许我们有效的保存大文件对象,特别对于那些巨大的文件,比如视频、高清图片等。
GridFS使用两个表来存储数据:
files:包含元数据对象
文件的元数据放在这个集合里面,默认fs.files。这个里面的每个文档表示 ...
06_MongoDB_存储过程
存储过程
关系型数据库的存储过程描述为:一组为了完成特定功能的SQL 语句集,经编译后存储在数据库中,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。
mongoDB也有存储过程,但是mongoDB是用javascript来写的,这正是mongoDB的魅力。
保存存储过程
mongodb的存储过程是存放在db.system.js表中,我们先来一个简单的例子:
f ...
05_MongoDB_查询文档_$where_游标
1.$where
where可以接受一个javascript函数作为查询条件,并且迭代当前集合里面的所有文档,如果满足函数条件,则返回这个文档。最典型的就是比较文档中的两个键的值是否相等
//现在有下面这个集合,要找出库存和销量相同的记录
> db.foo.insert({"name":"apple","ku_cun":10 ...
04_MongoDB_查询文档
find文档
1.find简介
使用find查询集合中符合条件的子集合
db.test.blog.find();
类似于sql查询
select * from test.blog
上面的查询是返回多有多有集合,并且是所有键。有时我们也会指定返回部分键,这样方式可以减少IO
> db.test.blog.find({},{"age":1,"na ...
03_MongoDB_增_删_改文档
增删改文档
数据库操作无非就是增、删、改、查。这篇主要介绍增、删、改。
1.增
Mongodb插入操作很简单,使用关键字“insert”。实例:
> db.test.blog.insert({"haha":"xiaohaha","abc":"123"})
> db.test.blog.find ...
02_mongoDB_入门篇
入门篇
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
在这里我们有必要先简单介绍一下非关系型数据库(NoSQL)
1.什么是NoSQL
NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only ...
01_mongoDB_安装篇
我用的是window 64位操作系统,在mongodb官网下载适合自己操作系统的安装文件
下载地址:http://www.mongodb.org/downloads下载好后,你可以使mongodb简单服务简单启动。也可以直接注册成服务。我们这里直接将mongodb注册成系统服务,这样以后就不用每次都启动了。
下面是操作步骤:
1.下载。
2.解压。
3.在C盘根目录建立Mongodb的 ...
07_Redis_订阅与发布
Redis的订阅与发布
Redis 的 SUBSCRIBE 命令可以让客户端订阅任意数量的频道, 每当有新信息发送到被订阅的频道时, 信息就会被发送给所有订阅指定频道的客户端。作为例子, 下图展示了频道 channel1 , 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系:
当有新消息通过 PUBLISH 命令发送给频道 channel ...
06_Redis_java操作redis
Java操作redis
Java操作redis很简单。创建一个普通的Java工程。然后导入redis依赖的jar包。jar包我已经上传了。
1.入门级的demo
package com.bjsxt.test;
import redis.clients.jedis.Jedis;
public class RedisDemo {
public static Jedis g ...
05_Redis_事务
1.redis事务的概念
redis事务可以一次性执行多个命令,有两个重要的特性:
事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。
事务是一个原子操作:事务中的命令要么全部被执行,要么全部都不执行。
2.redis事务的用法
redis实现事务控制有5个命令。这5个命令是事务的基础。
A.d ...