参加百度的面试，面试官提了一个海量数据问题，貌似自己的回答没能让人家满意，纠结点是：
大规模数据一般先用hash来分为小的数据段，然后在内存里处理之，然而如果hash后hash值还是各不相同（及其变态的情况），怎么办？
回来思考了下，下面是自己的想法，大家说说看：
如果一遍hash后，数据还是十分单调，可以采用另一个hash函数，或者不是单纯按照hash值分类，而是按照hash后的值范围，例如，原来hash(query)%100, 现在可以1-10为一个文件，间隔10建立子数据集，应该能解决问题吧？
轻拍。。。
分享到：
相关推荐
海量数据处理的面试题中，通常会出现以下几个方面的问题： 1. 海量数据处理的定义和特点 2. 海量数据处理的方法和策略 3. set/map/multiset/multimap 等数据结构的应用 4. 海量数据处理中的分布式处理和并行计算 5....
接着，文章介绍了海量数据处理策略，包括基于散列（Hash）的分布存储方式和迁移方式扩容两种方法。基于散列的分布存储方式是通过对Key进行散列算法，将不同的用户数据分散在不同的数据库节点上，以实现高效的数据...
对于极大规模的数据集，单机处理能力可能完全无法满足需求，这时可以将数据分布到多台机器上，采用类似于MapReduce的分布式计算框架来并行处理数据，再将结果合并。这种方式不仅能够充分利用计算资源，还能大幅缩短...
以下是从“大数据量海量数据处理.pdf”文件中提炼出的若干关键知识点，涵盖了大数据处理的基本概念、常见问题及解决方案。 #### 1. 大数据处理概览 大数据处理涉及对大量、高速产生的数据进行收集、存储、管理和...
- 利用多台计算机并行处理数据。 - MapReduce是一种常用的分布式处理框架。 通过以上解析可以看出，面对海量数据处理的问题，合理利用各种数据结构和算法是非常重要的。不同的应用场景需要选择合适的技术手段来...
### 海量数据处理关键技术解析 #### 一、海量数据处理概述 在当前的大数据时代，数据量的急剧增长使得传统的数据处理技术面临着前所未有的挑战。海量数据处理是指在合理的时间内，对大规模数据集进行高效存储、...
在IT领域，尤其是在大数据处理和分布式系统中，数据去重是一项关键任务。本文将深入探讨两种常用的技术：哈希和布隆过滤器，以及它们在处理海量数据时的应用。 哈希算法是数据去重的基础，它能够将任意大小的数据...
面试中，关于海量数据处理的问题往往占据着举足轻重的地位，特别是在涉及秒杀系统、高并发处理和多线程应用的场景中。本文件《海量数据处理面试题.pdf》通过一系列面试题的分析，试图向读者提供一个关于海量数据处理...
海量数据处理方法总结 本文总结了常用的海量数据处理方法，包括 Bloom filter、Hashing 和 bit-map 等。这些方法可以用来解决大数据量的问题，例如数据字典、判重、集合求交集等问题。 Bloom Filter Bloom filter...
### 海量数据处理的方法详解 #### 一、Bloom Filter **定义**: Bloom Filter是一种高效的数据结构，用于快速判断一个元素是否在一个集合中。它使用位数组和多个哈希函数来实现。虽然Bloom Filter可能会产生误报...
当数据量达到一定程度，使得传统的数据处理方法无法在合理的时间内完成任务，或者数据太大无法一次性加载到内存中时，我们就面临海量数据处理的问题。解决这类问题的关键在于时间和空间优化。时间方面，我们通常利用...
这类问题通常涉及到存储、处理和操作大量数据，其中“海量”意味着数据量过大，以至于无法在短时间内直接处理或者无法全部加载到内存中。 解决海量数据处理的时间和空间问题，通常采用的方法有： 1. **算法与数据...
本文旨在探讨几种常用的海量数据处理方法，包括哈希(hash)、Trie树、红黑树等技术的应用，帮助读者理解这些方法背后的原理及其应用场景。 #### 二、海量数据处理的核心思路 处理海量数据的关键在于如何有效地管理和...
在IT行业中，面对中等规模的海量数据处理是一项常见的挑战。在这个实例分析中，我们将探讨如何利用一台普通服务器高效地处理近60亿PV（页面浏览量）的数据。这一问题的核心在于优化数据处理策略，充分利用有限的计算...
大数据量、海量数据处理是一种常见的数据处理问题，在近年来随着数据量的急剧增加，如何高效处理大数据量数据成为一个热门话题。以下是对大数据量处理的一些常见问题和解决方法的总结： 1. 根据给定的两个文件A和B...
### 大数据量，海量数据处理方法总结 在IT领域，特别是大数据分析、数据库管理和算法设计方面，处理海量数据的能力是至关重要的技能之一。本文旨在总结处理大数据量、海量数据的有效方法，涵盖从理论基础到实际应用...
大数据与海量数据处理算法总结 在当今数据爆炸的时代，大数据处理是IT行业的一个热点。无论是社交网络、电子...通过总结这些常用的大数据处理算法，可以在实际工作中更有效地解决问题，提高数据处理的效率和准确性。