`
jiagyao
  • 浏览: 99243 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论
文章列表
海量数据处理汇总 笔者在实际工作中,有幸接触到海量的数据处理问题,对其进行处理是一项艰巨而复杂的任务。原因有以 下几个方面: 一、数据量过大,数据中什么情况都可能存在。如果说有10条数据,那么大不了每条去 ...
ETL目录 简介 作用 简介   ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。   ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、Be ...
什么是PV?    解答:PV是指页面刷新的次数,每一次页面刷新,就算做一次pv流量。    PV高一定代表来访者多吗?    解答:不一定如此,一般来说,PV与来访者的数量成正比,但是PV并不直接决定页面的真实来访者数量,例如,同一个来访者通过不断的刷新页面,也可以制造出非常高的PV。      PV(page view),即页面浏览量,或点击量;通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标;当然,有时还会同时考察另外一个指标,即uv(unique visitor),指访问某个站点或点击某条新闻的不同IP地址的人数。      PV之于网站,就像收视率之于电视,从某 ...
Tineye是一个用图片搜索图片[1]的技术。   开始时Tineye是邀请注册,后来是开放注册,不过都需要注册才能使用,现在终于完全放开,无需再注册或登录即可使用该搜索引擎。   此外,Tineye最近还增添了一下新功能,比如搜索历史记录保存,注册用户可以用链接方式发布搜索结果,升级的火狐插件(可以直接在网页内图片上右键搜索,当然也有IE插件),设置搜索结果链接有效保存时间等等。   别看Tineye是来自国外的搜索引擎,它不仅仅可以查找来自国外网站的图片,对于国内图片链接也支持得很完美,甚至可以搜索到国内各大论坛上的图片。   Tineye也提供其它特色搜索服务,比如音乐搜索。   它的功能 ...
导言 从 Spring 1.1.1 开始,EHCache 就作为一种通用缓存解决方案集成进 Spring。 我将示范拦截器的例子,它能把方法返回的结果缓存起来。 利用 Spring IoC 配置 EHCache 在 Spring 里配置 EHCache 很简单。你只需一个 ehcache.xml 文件,该文件用于配置 EHCache: < ehcache > <! —设置缓存文件 .data 的创建路径。 如果该路径是 Java 系统参数,当前虚拟机会重新赋值。 下面的参数这样解释: ...
两个最著名的开源java 缓存解决方案的厂商现在由于 Terracotta 对 Ehcache 的收购联合到一起了。Terracotta,目前唯一的提供JVM级别的“POJO clustering集群”的厂商,能够提供多线程单一JVM应用,并且能让它们跨JVMs运行而不需要修改任何代码。Ehcache是目前部署使用最广泛的缓存应用,它提供了标准的HashMap类型接口,类似Oracle Coherence。这个合并对Java缓存领域将产生深远的影响。 二级缓存 EHCache是一个快速的、轻量级的、易于使用的、进程内的缓存。它支持read-only和read/write缓存,内存和磁盘 ...
   在工作中,有这样一个需求,就是需要统计24个小时的相关数据.有的朋友认为简单的一句group by就可以解决。其实不然,真正的统计,24个小时都得有数据的,不允许出现缺失的现象.其实这个有点像废话,处理结果集ResultSet也可以,但为了减少JAVA的负担和增强java代码的可读性,所以尽量用SQL语句,一次性把数据处理好. 表结构,有三个字段一看就明白 Sql代码 CREATE TABLE `vardata` (     `Id` int(11) NOT NULL AUTO_INCREMENT,     `name` varchar(255) DEFAULT NULL,   ...
Sql代码 CREATE TABLE `vardata` ( `Id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `time` datetime NOT NULL DEFAULT '0000-00-00 00:00:00', `data` double(15,5) DEFAULT '-601.00000', PRIMARY KEY (`Id`,`time`), UNIQUE KEY `unique` (`name`,`time ...
下面就笔者工作中遇到的时间问题,模拟一下情况对大家进行介绍.     工作中仍然是海量数据出现的情况.每年大概会有几亿条记录.而且数据的时效性比较强.但历史数据仍然要求保留.这个时候经过分析和研究,最终决定通过时间字段进行分区.下面是分区表的创建代码.读者门在插入了不同年份时间段以后,可以时间字段为条件进行查询,可以看到数据库扫描过的区段. Sql代码 CREATE TABLE part_data         (c1 int default NULL,     c2 varchar(30) default NULL,     c3 date default NULL)     ...
            MySQL的经典用法(二)----按月统计数据 表finance有俩个字段如下 date date money double(15,2)     下面需要对表finance的2010年财务数据,按月进行统计 Sql代码 select DATE_FORMAT(date,'%Y-%m') as month,sum(money) as money    from finance    where DATE_FORMAT(date,'%Y')=2010    group by month    order by month  select DATE_F ...
  本人工作中的实际应用.在采集数据的时候,要求数据采集以后,不能重复.同时也要求有多个实例同时运转,保证数据采集的连续性.因此总结了一下,做成了如下的小试验.核心代码如下: 表结构:只有3个字段 id,name,password Sql代码 CREATE TABLE `tt` (     `Id` int(11) NOT NULL AUTO_INCREMENT,     `name` varchar(255) DEFAULT NULL,     `password` varchar(255) DEFAULT NULL,     PRIMARY KEY (`Id`)   ) E ...
一 物化视图     物化视图,它是用于预先计算并保存表连接或聚集等耗时较多的操作的结果,这样,在执行查询时,就可以避免进行这些耗时的操作,而从快速的得到结果。     只有大型数据库oracle10g,db2才支持这个功能,而M ...
              最近在使用vim,先记录下这些命令: 进入vi的命令   vi filename :打开或新建文件,并将光标置于第一行首   vi +n filename :打开文件,并将光标置于第n行首   vi + filename :打开文件,并将光标置于最后一行首   vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处   vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filename   vi filename....filename :打开多个文件,依次进行编辑    ...
         Linux下shell命令 adduser   创建新的用户账户 alias    设置命令的别名 bzips    .bz2的文件压缩程序 cal    月历显示 cat    将所有内容输出到标准输出设备 chfn    更改finger命令显示的信息 chgrp   变更文件与目录的所属组 chmod   更换文件或目录的权限 chown   更换文件或目录的拥有者或所在组 clear    清除画面上的信息 col    滤除控制字符 cp    复制文件或目录 crontab   设置定时器 date    设置显示系统时间及日期 dd   ...
[img][/img]本文主要讲解JBoss cluster的基本知识以及简单的配置方法,其间涉及了一些jboss的补充知识。 一、材料准备: 1、    JBoss 4.0.2    JBoss各个版本之间差异比较大,即使同为jboss 4.x的版本,内部组件的版本也不一致,所以请尽量使用同一版本的server。目前已经证明可以配置cluster的版本多为jboss 3.2.6和jboss 4.0.2。 2、    Apache 2.0.54 3、    Apache mod_jk-1-2-13-apache-2-0-54 二、安装: 1、    jboss4.0.2与apac ...
Global site tag (gtag.js) - Google Analytics