`
cheer_nice
  • 浏览: 103140 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

海量数据的匹配 bloom filter 【别进来 很烂】

    博客分类：
  • j2se
面试腾讯MapreduceQQBlog 
阅读更多

引出 是老张说的腾讯的面试题

 

说 昨天有一亿个QQ登陆啦

今天又有一亿个

问...

找到这两天重复登录的

 

bloom filter 

于是有下面几个链接

 

http://blog.csdn.net/jiaomeng/archive/2007/01/27/1495500.aspx

 

http://blog.redfox66.com/redfox66/blog/post/2010/09/24/mass-data-topic-2-bloom-filter.aspx

 

上面两个进行了阐述概念

 

http://blog.zol.com.cn/658/article_657087.html  

 

这个主要说了几个场合 特别适合用bloom  filter

 

http://my.oschina.net/xtxb/blog/3853

 

这个主要讲了下  counting bloom filter

 

 

 

这个题是否适合mapReduce呢 分块处理

分享到：
| junit 别点进来 会失望
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    基于Bloom Filter的海量数据分布式快速匹配算法研究.pdf

    综上所述，文章讨论了海量数据快速匹配所面临的问题和挑战，并提出了一种基于Bloom Filter的分布式快速匹配算法，该算法通过分布式技术提高了海量数据匹配的效率，减少了对服务器内存的需求，从而解决了制约应用程序...

    海量数据处理总结（大量数据处理）

    本文将围绕“海量数据处理”这一主题，详细探讨几种核心的技术方法，包括Bloom Filter、Hashing以及Bit-Map，它们在实际场景中的应用以及优化策略。 #### 一、Bloom Filter：高效的空间换时间 Bloom Filter是一种...

    海量数据处理的方法

    **定义**: Bloom Filter是一种高效的数据结构，用于快速判断一个元素是否在一个集合中。它使用位数组和多个哈希函数来实现。虽然Bloom Filter可能会产生误报（即错误地报告一个元素属于集合），但它不会漏报。 **...

    海量数据处理常用方法

    本文介绍了几种常用的海量数据处理方法，包括分而治之、哈希映射、Bloom Filter、位图、Trie树、红黑树等。通过合理选择和运用这些方法和技术，可以有效地应对大数据带来的挑战，提高数据处理的效率和准确性。在未来...

    海量数据面试题整理txt

    - **方法二**：使用布隆过滤器(Bloom Filter)，这是一种空间效率极高的概率型数据结构，用于判断一个元素是否在一个集合中。布隆过滤器可能会出现误判，但不会漏判。 例如，假设内存限制为4GB，需要存储大约320G的...

    bloom filter , 递归 ， 回溯 ， 五子棋 ， 迷宫 ， 扫雷 ， 贪吃蛇

    1. **Bloom Filter**：Bloom Filter是一种空间效率极高的概率型数据结构，用于判断一个元素是否可能在一个集合中。它可能会产生误报（false positive），但不会漏报（false negative）。在大数据分析和缓存系统中常...

    海量排序总结.txt

    在处理海量数据时，Bloom Filter是一种非常高效的数据结构，主要用于判断一个元素是否在一个集合中，具有空间效率高和查询速度快的特点。它通过将元素映射到一个位数组中来实现这一点。 1. **原理介绍**：Bloom ...

    教你如何迅速秒杀掉 海量数据处理面试题.pdf

    在海量数据处理中，常见的处理方法包括使用Bloom Filter进行快速查找，利用哈希表（Hash Table）来快速访问数据，使用位图（Bit Map）来节省空间，运用堆（Heap）进行优先级队列操作，采用倒排索引（Inverted Index...

    海量数据处理问题汇总及方法总结

    这些方法的核心思想是利用有限的内存资源，通过分治、哈希、概率数据结构（Bloom Filter）和分布式计算（如MapReduce）等手段，有效地处理大规模数据。在实际应用中，还需要结合具体场景选择合适的方法，同时考虑到...

    海量数据处理

    将一个文件的URL映射到Bloom filter，然后检查另一个文件的URL是否匹配。 在处理海量数据时，数据结构的选择至关重要。哈希表提供快速的查找和统计，堆用于高效地找到Top K元素，Trie树则适合处理字符串查询，Bloom...

    海量数据[参考].pdf

    本文将围绕十七道海量数据处理面试题，特别是涉及URL匹配和查询频率排序的问题，深入探讨解决方案。 首先，面对50亿URL的文件处理问题，方案1采用了分治策略。由于内存限制，无法一次性加载所有数据，所以通过哈希...

    常见算法面试题--海量数据专题.doc

    在处理海量数据的问题时，我们需要考虑如何有效地利用有限的内存资源，以及如何设计高效的算法来降低时间复杂度。以下是对给定题目中各个问题的详细解答： 1. **找共同URL**： - 方案1：使用哈希函数将URL分配到小...

    大数据量的处理问题.docx

    大数据量的处理问题在计算机科学领域，特别是在大数据和...例如，对于多个文件的URL去重问题，可以先用Bloom Filter初步筛选，再用Hashing或Bit-Map做精确匹配。通过灵活运用和创新，可以有效解决大数据量的处理挑战。

    7-5+ClickHouse在海量数据分析场景下的应用实践+.pdf

    - `Bloom Filter`：布隆过滤器，用于快速排除不包含特定元素的数据，减少不必要的I/O操作。 4. **查询优化示例** - 条件1：`CounterID in ('a', 'h')` 结果1：使用索引，Mark [0, 3) 和 [6, 8) 的数据被快速定位...

    java大数据

    例如，Bloom Filter可以作为初步过滤，减少需要进一步处理的数据量，然后利用Hashing进行精确匹配，最后结合Bit-Map进行快速查找和统计。这样的组合策略可以在保证效率的同时，有效地管理内存资源，应对大规模数据的...

    文本快速搜索TextFilter 支持任意语言

    TextFilter的即时搜索功能背后的技术基础可能包括但不限于关键词索引、字符串匹配算法（如KMP或Boyer-Moore）和数据结构优化（如Trie树或Bloom Filter）。这些技术的应用使得TextFilter能在短时间内扫描大量文本，...

    基于数据存储的重复删除技术的研究.pdf

    此外，还可以优化数据字典的结构，比如采用Bloom Filter或Trie树等数据结构，以减少查找和插入的时间复杂度。 1.4 应用场景与挑战 重复数据删除技术广泛应用于数据存储、备份和归档等领域。在企业环境中，它可以...

    亿万级数据处理的高效解决方案.docx

    Bloom Filter和Bitmap则是节省空间的过滤器，用于判断元素是否存在，适用于空间有限的环境。 3. **排序算法**: 对于需要排序的数据，堆排序、快速排序和归并排序等高效算法能够应对大数据量的排序需求。外排序是...

    基于网络处理器的高速网络数据过滤.pdf

    此外，规则集的优化包括规则的精简、分类和优先级设置，以及使用更智能的匹配算法，如哈希表或Bloom Filter等数据结构，以加速查找过程。 在实际应用中，网络处理器的高速网络数据过滤不仅需要硬件层面的优化，还...

Magicbox
Global site tag (gtag.js) - Google Analytics