雨落千木
- 浏览: 35844 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
Strom学习(一)----简介
- 博客分类：
- 大数据
什么是实时流式计算：
实时流式计算是实时计算和流式计算的叠加。
实时计算：响应时间受到实时约束的计算，时间约束很短，以秒，毫秒为单位
流式计算：在不断产生的数据流上进行的计算
数据流由基本数据单元组成
数据流不断产生，没有尽头，计算结果也不断产生/更新
实时流式计算：在不断产生的数据流上的实时计算，输入数据流式不断产生的没有尽头的，计算结果的产生时间相对于数据流入的时间是实时的。
实时流式计算特点：
1.流式处理，数据不断流入，流出，与批处理相对，例如：动态刷新的PV线，每 ...
Oracle创建表空间
- 博客分类：
- 数据库
//创建表空间
create tablespace 表空间名
logging
datafile 'D:\oracle\product\10.2.0\oradata\orcl\表空间名.dbf'
size 32m
autoextend on
next 32m maxsize 2048
extent management local;
//创建用户并指定表空间
create user 用户名 identified by 用户名default tablespace 默认表空间temporary tablespace 临时表空间;
排序算法java实现堆排序
- 博客分类：
- 算法
public class HeapSort {
//堆排序：
//基本思想：
//首先要了解堆这种数据结构：
//堆是实质上是一个满足如下条件的完全二叉树：树中任意非叶节点的关键字均不大于（或不小于）其左右孩子节点的关键字，即：
//给定关键字数列：T1,T2,...,Tn，
//当且仅当数列满足如下性质：（1）Ti<=T2i且Ti<=T2i+1或者（2）Ti>=T2i且Ti>=T2i+1(1<=i<=n/2取最小值)
//堆分为大根堆和小根堆：
//大根堆是指根节点的关键字是所有堆节店关键字中的最大者（升序）
//小根堆是指：根节 ...
对String str=“234561121”排序
- 博客分类：
- 算法
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
public class SortTest {
public static void main(String[] args) {
String str = "57263101";
List<Integer> list = new ArrayList<Integer>();
char[] ch = s ...
html5中的自适应字体
- 博客分类：
- 前端
在进行移动端页面的开发的时候，屏幕适配是很大的难题。在某些时候也会遇到字体的适配的问题。
要根据屏幕的大小来自动显示不同大小的字体，这样会有如下几种解决方案：
方案一：使用媒体查询来控制，针对不同的情况写不同的css，这样做的缺点就是要写很多的css，不好维护
方案二：使用viewport来实现，css3提供了vw，vh，vim等与viewport相关的单位。
1vw = 1% of viewport width
1vh = 1% of viewport height
1vmin = 1vm 或者 1vh 最小
1vmax = 1vm 或者 1vh 最大
案例如下：box2中的 ...
MongoDB与mapreduce
- 博客分类：
- 大数据
Mongodb可以实现MapReduce，用于完成count,distinct,group by等聚合函数的功能，此外还有其他功能。
MapReduce开始是将操作映射到mongodb集合中的每一个文档,这个操作要么什么都不做，要么产生一些键和N个值，然后按照键分组，将相同键对应值的值组成列表，放到对应的键的值中。最后进行化简，把键对应的列表中的值化简成一个单一的值。这个值被返回，接着进行洗牌，直到每个键的列表只有一个值为止，这个值也就是最后结果。
mongodb中map函数通过emit返回要处理的值。
例如：
map = function(){
for(var key i ...
MongoDB学习总结三
- 博客分类：
- 大数据
MogonDB的java驱动示例：
public class DataBase {
public static void main(String[] args) throws Exception {
try{
//1.建立一个mongo的数据库连接对象
Mongo mongo = new Mongo("127.0.0.1:27017");
//System.out.println(mongo);
//2.查询所有的DataBaseName
List<String > dbNameList = mongo.getDatabaseN ...
内部表和外部表
内部表：create table ，copy数据到warehouse,删除表时数据也会删除
外部表：create external table ，不copy数据到warehouse,删除表时数据不会删除
表的分区
分区的好处：如果不建立分区的话，则会全表扫描
数据通过目录划分分区，分区字段是特殊字段
目录结构：/pub/{dt}/{customer_id}/
添加分区：ALTER TABLE fs ADD PATITION(dt='20150305',customer_id) location '/pub/20150315/0001'
使用分区进行查 ...
Hive安装：
JDK1.6以上
Hadoop要启动
Hive下载：http://apache.cs.utah.edu/hive/hive-0.11.0/
HIve解压：
将hive-0.11.0.tar.gz解压到/home/hive路径下
tar -zxvf hive-0.11.0.tar.gz
产生hive的安装目录/home/hive/hive-0.11.0
配置环境变量：
sudo vi /etc/profile
export HIVE_HOME=/home/hive/hive-0.11.0
export PATH=$HIVE_HOME/bin:$PATH
执 ...
redis的一些常见配置
- 博客分类：
- 大数据
redis.conf文件中的配置
daemonize:如果需要在后台运行，则把该项改为yes
pidfile:配置多个pid的地址，默认在/var/run/redis.pid路径下
bind：绑定ip，设置后只接受来自该ip的请求
port:监听端口，默认为6379
timeout:设置客户端连接时的超时时间，单位为秒
loglevel：分为4级，debug、verbose、notice、warning
logfile:配置log文件地址
database:设置数据库的个数，默认使用的数据库为0
save:设置redis进行数据库镜像的频率
rdbcompression:在 ...
排序算法java实现归并排序
- 博客分类：
- 算法
public class MergeSort {
//归并排序
//基本思想：归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法的一个非常典型的应用。
//首先考虑下如何将两个有序数列合并：
//比较两个数列的第一个数，谁小就先去谁，取了后就在对应数列中删除这个数，然后再进行比较，
//如果数列为空，那么将另一个数列的数据依次取出即可。
//解决了两个数列合并问题，再来看归并排序，基本思路就是：
//将数组分成A,B两组，如果这两组内的数据都是有序的，就可以很方便的将这两组数据进行排序。
//那么可以将A,B组各自再分成两组，依次类推，当分出来的小 ...
排序算法java实现快速排序
- 博客分类：
- 算法
public class QuickSort {
//快速排序：
//基本思想：（分治）
//先从数组中取出一个数作为key值；
//将比这个数小的数全部放在它的左边，
//大于或等于它的数全部放在它的右边，
//对左右两个小数组重复上述步骤，直到各个 ...
jqueryvalidate表单验证的一个简单例子
- 博客分类：
- 前端
自己封装的一个表单验证的小例子：
function validateForm() {
var validator = $("#myForm").validate({
onsubmit:true,// 是否在提交是验证
submitHandler:function(form) {
ajaxSubmit();
},
rules: {
userName: {
required:true
},
sex: {
required:true
},
phoneNum: ...
排序算法java实现希尔排序
- 博客分类：
- 算法
public class ShellSort {
//希尔排序：
//基本思想：
//在要排序的一组数中，根据某一增量分为若干子序列,并对子序列分别进行插入排序。
//然后逐渐将增量减小，重复上述过程。
//直至增量为1，此时数据序列基本有序，最后进行插入排序。
//过程
//平均时间复杂度：O(n^1.5)
public static void main(String[] args) {
int[] arr = new int[]{6,2,4,1,9,3,6,7,0};
System.out.println("排序前====="); ...