海量数据处理热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

如何进行海量数据处理？

处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！ 1. Bloom filter Bloom filter是一种二进制向量数据结构，具有很好的空间效率和时间效率，可用来检测一个元素是否属于一个集合。该方法的优点是它的插入和查询时间都是常数，并且它查询元素却不保存元素本 ...

海量数据处理

lnh2017 评论(0) 有29人浏览 2018-03-23 14:13

被神化的海量数据处理和高并发处理

其实任何简单的问题，只要规模大了都会成为一个问题，就如中国人口多，很多小问题都会变成大问题一样。但处理这种海量数据的方法无非就是分治和”人海”战术。使用人海战术的前提是问题的划分能够支持这种人海战术，其手段无非是切割（纵向，横向）和负载均衡。纵向分隔主要是按业务（功能）来分，也就是所谓面向服务架构，横向分隔方式比较多，主要依赖于所处理的对象属性，比如时间属性或者特定业务数据属性划分（比如铁路客票的 ...

高并发负载均衡海量数据处理大数据 hadoop

海风0811 评论(0) 有1056人浏览 2015-08-24 00:38

海量数据处理

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 1）遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为a0,a1,a2...a999）中。 ...

海量数据处理大数据

wbj0110 评论(0) 有960人浏览 2013-08-29 10:06

POI读写海量Excel

目前处理Excel的开源javaAPI主要有两种，一是Jxl（Java Excel API）,Jxl只支持Excel2003以下的版本。另外一种是Apache的Jakarta POI,相比于Jxl,POI对微软办公文档� ...

java poi 海量数据处理

miyazaki 评论(0) 有2713人浏览 2013-03-16 17:44

海量数据处理分析

在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正 ...

海量数据处理

gukeming888 评论(0) 有790人浏览 2012-09-25 16:52

教你如何迅速秒杀掉：99%的海量数据处理面试题

转载自：http://blog.csdn.net/wangfaqiang/article/details/7395866 前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性 ...

海量数据处理

zhoujianghai 评论(0) 有2098人浏览 2012-05-07 13:50

教你如何迅速秒杀掉：99%的海量数据处理面试题

本文转载自‘http://blog.csdn.net/v_july_v/article/details/7382693#’ 作者：July出处：结构之法算法之道blog 前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇 ...

海量数据处理

wanghaisheng 评论(0) 有1064人浏览 2012-04-03 17:58