`
smarthhl
  • 浏览: 29020 次
社区版块
存档分类
最新评论

数据分析师常见的十道面试题目

 
阅读更多
数据分析师常见的10道面试题及解答

1、海量日志数据,提取出某日访问百度次数最多的那个IP

  首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP32位的,最多有个2^32IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中,找出那个频率最大的IP,即为所求。

  或者如下阐述:

  算法思想:分而治之+Hash

1.IP地址最多有2^32=4G种取值情况,所以不能完全加载到内存中处理;

2.可以考虑采用“分而治之”的思想,按照IP地址的Hash(IP)24值,把海量IP日志分别存储到1024个小文件中。这样,每个小文件最多包含4MBIP地址;

3.对于每一个小文件,可以构建一个IPkey,出现次数为&#118alueHash map,同时记录当前出现次数最多的那个IP地址;

4.可以得到1024个小文件中的出现次数最多的IP,再依据常规的排序算法得到总体上出现次数最多的IP

2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。

  假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门。),请你统计最热门的10个查询串,要求使用的内存不能超过1G

  典型的Top K算法,还是在这篇文章里头有所阐述,

  文中,给出的最终算法是:

  第一步、先对这批海量数据预处理,在ON)的时间内用Hash表完成统计(之前写成了排序,特此订正。July2011.04.27);

  第二步、借助堆这个数据结构,找出Top K,时间复杂度为NlogK

  即,借助堆结构,我们可以在log量级的时间内查找和调整/移动。因此,维护一个K(该题目中是10)大小的小根堆,然后遍历300万的Query,分别和根元素进行对比所以,我们最终的时间复杂度是:ON + N*OlogK),(N1000万,N’为300万)。ok,更多,详情,请参考原文。

  或者:采用trie树,关键字域存该查询串出现的次数,没有出现为0。最后用10个元素的最小推来对出现频率进行排序。

3、有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词。

  方案:顺序读文件中,对于每个词x,取hash(x)P00,然后按照该值存到5000个小文件(记为x0,x1,x4999)中。这样每个文件大概是200k左右。

  如果其中的有的文件超过了1M大小,还可以按照类似的方法继续往下分,直到分解得到的小文件的大小都不超过1M

  对每个小文件,统计每个文件中出现的词以及相应的频率(可以采用trie/hash_map等),并取出出现频率最大的100个词(可以用含100个结点的最小堆),并把100个词及相应的频率存入文件,这样又得到了5000个文件。下一步就是把这5000个文件进行归并(类似与归并排序)的过程了。

4、有10个文件,每个文件1G,每个文件的每一行存放的都是用户的query,每个文件的query都可能重复。要求你按照query的频度排序。

  还是典型的TOP K算法,解决方案如下:

  方案1

  顺序读取10个文件,按照hash(query)的结果将query写入到另外10个文件(记为)中。这样新生成的文件每个的大小大约也1G(假设hash函数是随机的)。

  找一台内存在2G左右的机器,依次对用hash_map(query,query_count)来统计每个query出现的次数。利用快速//归并排序按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件(记为)。

  对这10个文件进行归并排序(内排序与外排序相结合)。

  方案2

  一般query的总量是有限的,只是重复的次数比较多而已,可能对于所有的query,一次性就可以加入到内存了。这样,我们就可以采用trie/hash_map等直接来统计每个query出现的次数,然后按出现次数做快速//归并排序就可以了。

  方案3

  与方案1类似,但在做完hash,分成多个文件后,可以交给多个文件来处理,采用分布式的架构来处理(比如MapReduce),最后再进行合并。

5 给定ab两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出ab文件共同的url

  方案1:可以估计每个文件安的大小为5G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。

  遍历文件a,对每个url求取hash(url)00,然后根据所取得的值将url分别存储到1000个小文件(记为a0,a1,,a999)中。这样每个小文件的大约为300M

  遍历文件b,采取和a相同的方式将url分别存储到1000小文件(记为b0,b1,,b999)。这样处理后,所有可能相同的url都在对应的小文件(a0vsb0,a1vsb1,,a999vsb999)中,不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。

  求每对小文件中相同的url时,可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url,看其是否在刚才构建的hash_set中,如果是,那么就是共同的url,存到文件里面就可以了。

  方案2:如果允许有一定的错误率,可以使用Bloom filter4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit,然后挨个读取另外一个文件的url,检查是否与Bloomfilter,如果是,那么该url应该是共同的url(注意会有一定的错误率)。

Bloom filter日后会在本BLOG内详细阐述。

6、在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。

  方案1:采用2-Bitmap(每个数分配2bit00表示不存在,01表示出现一次,10表示多次,11无意义)进行,共需内存2^32 * 2 bit=1 GB内存,还可以接受。然后扫描这2.5亿个整数,查看Bitmap中相对应位,如果是0001011010保持不变。所描完事后,查看bitmap,把对应位是01的整数输出即可。

  方案2:也可采用与第1题类似的方法,进行划分小文件的方法。然后在小文件中找出不重复的整数,并排序。然后再进行归并,注意去除重复的元素。

7、腾讯面试题:给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中?

  与上第6题类似,我的第一反应时快速排序+二分查找。以下是其它更好的方法:

  方案1oo,申请512M的内存,一个bit位代表一个unsigned int值。读入40亿个数,设置相应的bit位,读入要查询的数,查看相应bit位是否为1,为1表示存在,为0表示不存在。

  方案2:这个问题在《编程珠玑》里有很好的描述,大家可以参考下面的思路,探讨一下:

  又因为2^3240亿多,所以给定一个数可能在,也可能不在其中;

  这里我们把40亿个数中的每一个用32位的二进制来表示

  假设这40亿个数开始放在一个文件中。

  然后将这40亿个数分成两类:

1.最高位为0

2.最高位为1

  并将这两类分别写入到两个文件中,其中一个文件中数的个数<=20亿,而另一个>=20亿(这相当于折半了);

  与要查找的数的最高位比较并接着进入相应的文件再查找

  再然后把这个文件为又分成两类:

1.次最高位为0

2.次最高位为1

  并将这两类分别写入到两个文件中,其中一个文件中数的个数<=10亿,而另一个>=10亿(这相当于折半了);

  与要查找的数的次最高位比较并接着进入相应的文件再查找。

  …….

  以此类推,就可以找到了,而且时间复杂度为O(logn),方案2完。

  附:这里,再简单介绍下,位图方法:

  使用位图法判断整形数组是否存在重复

  判断集合中存在重复是常见编程任务之一,当集合中数据量比较大时我们通常希望少进行几次扫描,这时双重循环法就不可取了。

  位图法比较适合于这种情况,它的做法是按照集合中最大元素max创建一个长度为max+1的新数组,然后再次扫描原数组,遇到几就给新数组的第几位置上1,如遇到5就给新数组的第六个元素置1,这样下次再遇到5想置位时发现新数组的第六个元素已经是1了,这说明这次的数据肯定和以前的数据存在着重复。这种给新数组初始化时置零其后置一的做法类似于位图的处理方法故称位图法。它的运算次数最坏的情况为2N。如果已知数组的最大值即能事先给新数组定长的话效率还能提高一倍。

  欢迎,有更好的思路,或方法,共同交流。

8、怎么在海量数据中找出重复次数最多的一个?

  方案1:先做hash,然后求模映射为小文件,求出每个小文件中重复次数最多的一个,并记录重复次数。然后找出上一步求出的数据中重复次数最多的一个就是所求(具体参考前面的题)。

9、上千万或上亿数据(有重复),统计其中出现次数最多的钱N个数据。

  方案1:上千万或上亿的数据,现在的机器的内存应该能存下。所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计次数。然后就是取出前N个出现次数最多的数据了,可以用第2题提到的堆机制完成。

10、一个文本文件,大约有一万行,每行一个词,要求统计出其中最频繁出现的前10个词,请给出思想,给出时间复杂度分析。

  方案1:这题是考虑时间效率。用trie树统计每个词出现的次数,时间复杂度是O(n*le)le表示单词的平准长度)。然后是找出出现最频繁的前10个词,可以用堆来实现,前面的题中已经讲到了,时间复杂度是O(n*lg10)。所以总的时间复杂度,是O(n*le)O(n*lg10)中较大的哪一个。

  附、100w个数中找出最大的100个数。

  方案1:在前面的题中,我们已经提到了,用一个含100个元素的最小堆完成。复杂度为O(100w*lg100)

  方案2:采用快速排序的思想,每次分割之后只考虑比轴大的一部分,知道比轴大的一部分在比100多的时候,采用传统排序算法排序,取前100个。复杂度为O(100w*100)

  方案3:采用局部淘汰法。选取前100个元素,并排序,记为序列L。然后一次扫描剩余的元素x,与排好序的100个元素中最小的元素比,如果比这个最小的要大,那么把这个最小的元素删除,并把x利用插入排序的思想,插入到序列L中。依次循环,知道扫描了所有的元素。复杂度为O(100w*100)

分享到:
评论

相关推荐

    数据分析师面试题目

    综上所述,数据分析师面试题目通常围绕着统计学基础知识、数据分析方法、数据获取、数据解读和业务理解以及数据分析思想几个方面展开。面试官会通过不同的题目和场景,考察应聘者是否具备成为一名优秀数据分析师的...

    1_数据分析面试八股文合集.zip

    3. **数据分析师常见面试问题.docx**:此文档列出了数据分析师面试中常见的问题,可能包括对数据分析工具(如Excel、SQL、Python等)的熟练程度,对数据处理流程的理解,以及如何用数据讲故事等能力的考察。...

    需求分析师面试题

    【需求分析师面试题】知识点详解: 1. 需求收集与分析: 需求分析师在面试中经常被问及如何有效地收集需求。这涉及到与不同干系人的沟通技巧,包括用户、管理层、技术人员等,理解他们的期望和问题。面试者应展示...

    2014阿里巴巴校园招聘数据分析师职位笔试题目(回忆版).pdf

    以上知识点覆盖了数据分析师笔试中常见的问题类型和分析方法,从基础的统计知识到复杂的分析技能,再到实际案例的应用分析。这不仅对备考的数据分析师职位的应试者有所帮助,也为其他需要进行数据分析的人士提供了...

    阿里数据分析师试题分析

    ### 阿里数据分析师试题分析 #### 一、异常值及其识别方法 **异常值定义**:在数据科学和统计学中,异常值(Outlier)指的是数据集中那些显著偏离其他观察值的个体值。这类值往往由于测量错误、记录错误或其他非...

    mysql面试题目(20道)精简版

    20 道面试题目,涵盖数据库基础知识、存储引擎、索引、查询优化、事务、视图、存储过程、触发器、隔离级别、备份和恢复、数据类型、约束、分区表、索引优化器、主从复制、高可用性、性能监控、数据安全和常见错误等...

    .NET 面试题目大全

    对于寻求.NET相关职位的求职者而言,掌握全面的面试题目至关重要,可以帮助他们更充分地准备面试,提高成功率。 ### 2. .NET基础知识与概念 - **知识点**:.NET Framework的核心组成部分,包括CLR(公共语言运行...

    系统分析师模拟题电子资料.zip

    3. **数据流图(DFD)和实体关系图(ERD)**:这两类图表是系统分析师常用的设计工具,用于描绘信息流动和数据存储。模拟题可能包含绘制和解析这些图表的练习。 4. **需求规格说明**:学习者可能需要撰写或理解需求...

    java面试题目精选

    ### Java面试题目精选知识点梳理 #### 一、求职过程篇概览 - **1.1 程序员这个职业** - **职业感受**:介绍了作为一名程序员的职业体验,包括日常工作内容、工作压力等方面。 - **程序员是否吃青春饭**:讨论了...

    数据分析之SQL常问知识点&sql五十题示例.zip

    在大数据时代,SQL已成为数据分析师和数据库管理员的必备技能。你是否曾因对SQL的某些知识点掌握不够深入而感到困惑?是否渴望通过实战练习来巩固和提升自己的SQL技能? 我们为您精心准备了《数据分析之SQL常问知识...

    技术面试题目及答案.doc

    总的来说,这些面试题目涵盖了编程、算法、设计模式、测试、系统设计等多个IT领域的知识点,旨在评估候选人的综合技术能力和专业素养。在准备面试时,候选人应深入理解并熟练掌握这些基础理论和技术实践。

    sql数据库常见面试题

    在当前职场竞争激烈的环境下,掌握SQL(Structured Query Language,结构化查询语言)技能已成为数据库管理和数据分析师的必备条件之一。数据库面试中,面试官经常通过一些常见面试题来考察应聘者对SQL语言的熟练...

    计算机类面试题目及答案.pdf

    【计算机类面试题目及答案】主要涉及了Java多线程的相关知识,这是IT面试中常见的技术领域,尤其对于系统架构师、后端开发工程师等职位至关重要。以下是对这些知识点的详细解释: 1. **线程**:线程是操作系统调度...

    Sql常见面试题.docSql常见面试题.docSql常见面试题.docSql常见面试题.docSql常见面试题.doc

    以下是对这些常见面试题目的详细解析: 1. 查询每门课都大于80分的学生姓名: 这个问题可以通过使用子查询来解决。首先,找出所有分数低于或等于80的学生,然后从原始表中排除这些学生。SQL语句如下: ```sql ...

    今日头条数据分析岗位.pdf

    在“今日头条数据分析...以上各个环节涉及的知识点涵盖了数据分析的基础理论、实际操作、业务理解和问题解决能力,是成为一名优秀数据分析师必备的素养。在准备类似的面试时,应聘者应充分理解并熟练掌握这些知识点。

    一些经典的SQL语句和各大公司的面试题

    无论是数据分析师、数据库管理员还是软件开发者,掌握SQL都是基础且重要的技能。以下是一些经典的SQL语句以及各大公司在面试中可能会问到的问题,这些知识点对你的职业生涯至关重要。 1. **SQL基本操作**: - **...

    《数据竞赛入门讲义》.pdf

    常见面试题可能涉及数据科学、机器学习、深度学习等领域的面试题目。 #### 12.7 常见数据岗位 常见数据岗位可能包括数据分析师、数据工程师、机器学习工程师、深度学习研究员等。 由于内容中提及了AutoML,可以...

    面试宝典.zip

    对于大数据工程师、数据分析师等职位的求职者来说,这是必备的学习材料。 5. **面试自我介绍.docx**:自我介绍是面试的开场白,文档可能提供了撰写和优化自我介绍的技巧,包括如何简洁地介绍自己的背景、技能和成就...

    ETL架构师面试题及答案

    ### ETL架构师面试题及答案解析 #### 1. 什么是逻辑数据映射?它对ETL项目组的作用是什么? 逻辑数据映射(Logical Data Mapping)是一种文档化的技术,用于详细描述源系统数据的定义、目标数据仓库的模型以及从源...

    全国近200家公司面试题

    这些题目可能来自初创公司到大型跨国企业,涉及到的职位包括但不限于软件开发工程师、数据分析师、系统架构师、网络安全专家、产品经理等。通过对这些面试题目的分析,我们可以了解到当前IT行业在招聘时关注的关键...

Global site tag (gtag.js) - Google Analytics