`
kavy
  • 浏览: 890661 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Kafka消息订阅发布系统设计介绍

 
阅读更多

http://hi.baidu.com/wupengwuhao/blog/item/b836e8c4985a8122f8dc61b7.html

Kafka学习总结

一、Kafaka简介

Kafka是一个分布式的消息发布-订阅系统。它的特性如下:

l  通过在O(1)的磁盘数据结构上提供消息持久化,对于即使数以TB的消息存储也能够保持长时间的稳定性能。

l  高吞吐:在商用机器上可以提供每秒数十万条的消息

l  支持在Kafaka服务器集群上进行messages分片,并在把messages在消费集群的机器上分配的同时维护每个分片的顺序信息。

l  支持将数据并行的加载到Hadoop中。

Kafka目标是提供一个可以完成在一个用户站点上所有动作流数据和处理的解决方案。

这种动作(网页浏览量、搜索和其他的用户行为)是在现代网站的许多社交特征中的重要组成部分。这个数据通常根据吞吐量的需要采用日志记录和专门的日志合并解决方案。这种专门的解决方案通过提供记录数据给离线分析系统,比如hadoop,是可行的,但是要想实现实时的数据处理就很局限了。Kafka的目标是通过提供一个在并行加载到hadoop的同时也要具有在一个集群上逐个分区的进行实时消费能力的机制来统一离线和线上处理。

针对动作流处理的使用让Kafaka可以与相提并论,尽管这些系统的体系结构和基本实现单元都不相同,并且使得Kafaka更像是传统的消息处理系统。make Kafka more comparable to a traditional messaging system.

二、设计

1.项目背景和出发点

Kafaka是一个构建在LinkedIn(一个社交网站)作为活动流处理基础的消息系统。

活动流数据是一个分析任何一个网站浏览量的指标。动作的数据是一些比如像网页浏览量、关于什么内容被展示的信息和搜索之类的东西。这种东西通常用日志记录把相关的动作到一类文件中,并最终阶段性的整合这些文件去进行分析。

在近几年中,然而,动作数据已经成为了网站生产特征的要害部位,所以需要一个稍微复杂一些的基础架构集。

2.动态数据的用例

l  广播你朋友的活动的消息推送特点

l  使用计数分级、投票或者点击率关联分析和排序来决定给出的条目集中哪一个最相关

l  安全性:站点需要屏蔽abusive crawlers, rate-limit apis,检测垃圾邮件和维护其他的检测和锁定外界连接的防御系统。

l  运行检测:大部分的站点需要某些实时的、灵活的监控,以便跟踪性能变化并在出错的情况下给出警告。

l  报表和批处理:将数据加载到数据仓库或者hadoop系统去进行离线分析和就商业活动作出报告

3.动作流数据的特点

因为动作流数据的体积几乎10倍甚至100倍于一个站点的下一个数据源,所以这个高吞吐量的不可变动态数据真的提出了一个巨大的计算挑战。

传统的日志文件聚合计算是一个不错的和可扩展的方法来提供类似于报表或者批处理方面的用例;但是对于实时处理它有太大的时延并且倾向于具有相当高复杂度的操作。另一方面,已存在的消息和队列系统对于实时或者准实时用例是不错的,但是在操作大量未被消费掉的队列方面很差劲,often treating persistence as an after thought。这就给向馈入hadoop一样的离线系统带来了麻烦,可能每天或者每小时只能消费一些数据源。This creates problems for feeding the data to offline systems like Hadoop that may only consume some sources once per hour or per day.Kafaka意在作一个同时支持离线和线上用例的单一队列平台。

Kafka支持相当通用的信息语义。但是没有一个与动作处理绑定,尽管那是激发我们做Kafka的用例。

4.部署

下面的这副图给出了KafkaLinkedIn的一个简化的部署拓扑图。

 

注意,一个kafka集群处理来自所有不同数据源的所有动作数据。这给线上和离线处理的consumers提供一个单一的数据管道。这一层作为一个在实时活动和异步处理之间的一个缓存。我们也使用kafka来将所有的数据备份到另外一个数据中心去进行离线处理。

5.主要设计元素

这里有一些使得Kafka不同于大部分其他的消息系统的主要的设计方案:

1.    Kafka 被设计成把messages持久化作为一种常见的情况。

2.    吞吐量而不是特性作为最基本的设计限制

3.    关于消息被处理的状态作为消费系统的一部分在维护而不是在kafka的服务器上。

State about what has been consumed is maintained as part of the consumer not the server

4.    Kafka是显式的分布式系统。它被假设为producerbrokerconsumer都分布于多台机器上

以上的每一种设计都将在下面详细讨论。

6.基本概念

首先是一些基本的术语和概念:

Messages 是通信的基本单位。Messages被一个producer发布给一个topic,也就是说它们被物理地传递给作为一个broker的服务器(一般是另外一台机器)。一些consumer订阅一个topic,每一个被发布的消息就被转交给这些consumer了。

Kafka是显式分布式的——producerconsumerbroker可以全部运行在一个集群 的机器上,并作为一个逻辑组进行协作运行。这对于brokerproducer是非常自然的,但是consumer需要一些特别的支持。每一个consumer进程属于一个consumer group并且每一条message恰是被传递给每一个consumer group中的一个进程。因此一个consumer group允许许多进程或者机器逻辑地作为一个单一的consumer。这种consumer group的概念是非常有用的,可以被用做支持在JMS中提供的queue或者是topic的语义。要支持queue的语义,我们将所有的consumer放到一个consumer group里面,在这种情况下每一个message将传递到一个单独的consumer中。要支持topic的语义分析,每一个consumer被放到它自己的consumer group中,接着所有的consumer将接到每一条消息。在我们使用中更通用的一个用例是我们有多个逻辑consumer group,每一个由作为一个逻辑整体的consuming machines组成。Kafka在大规模数据面前有更多的优势,因为不管一个topic有多少consumer,一个消息只存储一次。

7.消息持久化和缓存

不要害怕文件系统

Kafka严重依赖于文件系统去进行messages的存储和缓存。有一个常见的观点就是磁盘是缓慢的,也使人们怀疑在磁盘上进行持久化的结构可以提供比较好的性能。事实上,磁盘或者比人们想象中的更慢或者更快,这取决于它们是被怎样使用的,一个合适的磁盘结构设计通常比网络传输还快。

     关于磁盘性能的实际情况是在过去的十年中磁盘的吞吐量已经和磁盘的寻道时间不一致了。结果是在6 7200rpm SATA RAID-5 组上的一次写入性能可以达到 300MB/sec,但是随机写入的性能确是50k/sec——几乎是1000被的差距。这些一次读写在大部分的使用情况中是可以预计到的,因此这可以用过使用read-aheadwrite-behind技术,就是在一个大的数据块中预先多次取出数据并把较小的逻辑写入合并到一个大的物理写入,把磁盘性能最佳化。关于这个问题更深入的讨论请参考ACM Queue article,他们事实上发现连续的磁盘访问在一些情况下比对内存的随机读取还要快。

为了祢补这种性能不足,现代操作系统已经倾向于使用主存作为磁盘的缓存。任何的现代操作系统将所有的空余内存作为磁盘的缓存,同时在内存回收的时候伴有一些性能损失。所有的磁盘读写将通过这个统一的缓存。这种特性如果不是直接使用I/O的话不能被轻易的关闭。所以即使是一个在进程中保存的数据,还是可能被复制到OS的页缓存中,事实上把所有的数据都存储两次。

另外我们是建立在JVM之上的,所有花了一些时间在Java内存使用的人都知道两件事:

1.    对象的内存开销特别高,通常会是所存储数据的两倍。

2.    Java的内存回收机制随着堆内存的数据的增加变得频繁

作为这些因素的结果,使用文件系统和依赖于页缓存比维持一个内存的存储或者其他的结构有优势——我们至少通过自动访问所有的空闲内存使得可用的缓存加倍,而且可能通过存储一个紧凑的字节结构而不是单独的对象使得可用的缓存又增加一倍的大小。这么做将导致在在一个32GB的机器上有2830GB的缓存,而且还不会有GC带来的损失。而且这种缓存将保持可用即使服务被重新启动,但是进程中的缓存将需要在内存中重建(这对于一个10GB的缓存将需要大概10分钟的时间)或者需要用一个完全的冷备份启动(这将是一个非常可怕的初始化过程)。它也将极大的简化了编码因为所有在缓存和文件系统里的相关维护逻辑现在都归操作系统里了,这将比在进程中的一次性尝试的效率和正确度都要高。如果你的磁盘支持一次的读取那么read-ahead 将有效地用每一个磁盘上读取的有用数据填充这个缓存。

这表明了一种很简单的设计:我们不是把数据尽量多的维持在内存中并只有当需要的时候在将数据刷到文件系统,我们是反其道而行之。所有的数据不用进行任何的刷数据的调用就立刻被写入到文件系统的一个持久化的日志记录中。事实上这只是意味着转移到了内核的页缓存中,OS将在之后将它刷出。接着我们添加一个配置驱动器刷数据策略来允许系统的用户控制数据被刷入物理磁盘的频率(每多少消息或者每多少秒)来设置一个在临界磁盘崩溃时数据量的一个限制。

这种页缓存为中心的设计在一片关于Varnish的设计的文章中有描述。

8.较长时间的满足

在消息系统元数据中使用的持久化数据结构的通常是B树。B树是可以使用的最万能的数据结构,使得在消息系统中支持一个广泛的各种各样的事务性的和非事务性的语义。这样有着相当高的开销,但是B树操作的复杂度是O(log N)。正常情况下O(log N)被认为是本质上等于恒定时间,但是这对于磁盘操作来讲是不对的。磁盘寻道达到10ms ,并且一个磁盘一次只能做一个寻道,所有并行化被限制住了。因此即使是少量的磁盘寻道也将带来很大的开销。因为存储系统在物理磁盘操作中混合了快速的缓存操作,观测到的树结构的性能通常是字面上的。此外,B树要求一个复杂的页或行同步实现来避免在每一个操作中锁定整个树。实现必须要对row-locking或者有效的序列化所有的读取付出较高的代价。因为对磁盘寻道较高的依赖,不可能有效的利用驱动器的密度优势。人们被强制使用小型的(小于100GB)高转速SAS驱动器来维持一个数据寻找能力的合理度。

直观上,一个持久化队列可以建立在简单地读取和添加到文件中,就像在日志记录方案中常见到的那样。尽管这个结构不能支持丰富的B树实现的语义,但是他有一个优势就是所有的操作复杂度都是O(1)并且读和写之间不会互相阻塞。这显然是个性能优势自从性能完全和数据的大小解耦。一个服务器可以充分利用许多廉价的、低转速的1TB大小的SATA驱动器。虽然它们的寻道性能比较差,但是这些驱动器对于大的写入和读取方面有1/3的价格和3倍的容量的性能可比性。可以访问几乎没有限制的磁盘空间而不出现损失意味着我们可以提供一些在消息系统中不常见的特性。比如,在kafka中,我们可以将消息保存相当长的一段时间而不是在消费完之后立刻将它删除。

 

9.效率最大化

我们的假设是message量是及其之大的,甚至是一个站点的网页访问量(我们假设网页访问量是我们要处理的活动)总数的几倍。此外,我们还假设每一个发布的消息至少被读取一次(实际上可能是很多次),因此我们为consumption优化而不是为production优化。

这里有两个效率低下的原因:太多的网络请求有和过度的字节复制

为了达到高效率,API建立在一个“message set”的抽象上,这个抽象自然的将消息分组。这使得网络请求把message分组以此将网络折返的开销分摊而不是一次只请求一个消息。

MessageSet实现本身是一个小的封装了字节数组或者文件的API。因此在message处理中没有单独的序列化和反序列化的步骤,message字段是根据需要lazily deserialized的。

broker维护的message记录本身只是个被写入磁盘的message sets的目录。这种抽象使得一个字节格式同时被brokerconsumer共享(某种程度上还有producer,虽然producer的消息在被记录之前已经被校验和验证过了)。

维护这个通用的格式允许对最重要的操作进行优化:持久化的日志块在网络中的传输。现代的Unix操作系统提供了高度优化过的编码途径将数据从页缓存中传输给一个socket。在Linux中这通过sendfile的系统调用实现。Java通过FileChannel.transferTo api 提供了对这个系统调用的访问。

      要想了解sendfile的影响,首先理解通常的数据从文件传输到socket的途径是很重要的。

1.    操作系统从磁盘中读取数据到内核空间的页缓存中

2.    应用程序从内核空间将数据读取到用户空间缓存

3.    应用程序将数据写回到内核空间的一个socket缓存

4.    操作系统从socket缓存将数据复制到网卡缓存,并最终发送到网络中

这是非常低效的,这里出现了四次拷贝,两次系统调用。使用sendfile,通过允许OS将数据直接从页缓存发送到网络来避免这种重复复制。所有在这种途径中,只有最终复制到NIC的缓存中是必须的。

我们希望对一个topic对应的多个consumer有一个通用的用例。使用了上面的0拷贝优化,数据被拷贝到页缓存中一次而不是存在内存中并被每一个consumption重复利用,在每次读取的时候拷贝出内核空间。这就使得消息被以接近网络连接上限的速率consumed

对于更多在java中对sendfile0拷贝的支持,请参考这篇文章。

10.消费状态

      跟踪什么被消费是一个消息系统必须提供的主要功能之一。这个不是凭直觉的,但是记录这个状态是这个系统主要的性能点之一。状态跟踪需要更新一个持久化的条目并且可能引起随机的读取。因此它可能被存储系统的寻道时间限制而不是写入的带宽。

      大部分消息系统在broker上保存哪些消息被消费掉的元数据。也就是说,随着一个消息被传送给consumerbroker进行本地地记录。这是一个相当凭感觉的选择,而且对于单一的服务器来讲的确不清楚它还将传递到哪儿。因为在很多消息系统中用于存储的数据结构扩展性很差,这也是个实用的选择——因为broker知道什么被消费掉了就可以立刻删除它,以保持较小的数据量。

     可能不是很明显的是让brokerconsumer关于什么已经被消费掉达成协议是一个不简单的问题。如果broker每一次在消息被传送到网络中的时候立刻将它记录为已经consumed,那么如果consumer处理消息失败(可能是因为宕机或者超过请求的时间等等)接着这条消息就会丢失。要解决这个问题,许多消息系统添加了一个确认特性也就是说当消息被传送出去的时候只是被标记为sent而不是consumed;broker等到收到consumer发来的特定的确认之后才把这个消息记录为consumed。这种策略解决了消息丢失的问题,但是带来了新的问题。首先,如果consumer处理了这个消息,但是在发送确认信息时失败了,那么这条信息将被处理两次。第二个问题就是关于性能,现在broker必须保存关于一个消息的多个状态(首先锁定它这样就不会重复发出两次,接着再将它永久的标记为consumed以便于将它删除)。更棘手的问题是怎样处理那种消息被发出去了但是一直没有被确认已经消费掉了的情况。

11消息传递语义

很明显这里有许多种可能的消息交付保障方案来提供:

l  至多传递一次:这是用于上面描述的第一种方案。消息被立刻标记为consumed,这样它们就不会给出两次,但是会出现丢失消息的情况。

l  最少传递一次:这是上面的第二种情况,我们保证每一个消息至少被传递一次,但是在失败的情况下可能被传递两次。

l  准确的传递一次:这是人们真正想要的,每个消息传递一次且仅此一次。

     这个问题已经被深入的研究过了,是"transaction commit"问题的变种。提供准确的一次的算法是存在的,two- or three-phase commitsPaxos算法变种就是示例,但是他们带有一些缺点。他们通常需要多次的往返并且可能实施有效性缺乏保证(会不确定的停止)。FLP结果在这些算法中提供了一些基本的限制。

     Kafka关于元数据做了两件不同寻常的事。首先是数据流在broker上分片成不同的分片集。这些分片的语义含义被留给producerproducer指定一个消息属于那个分片。在一个分片中消息被按照到达broker的顺序排序,接着按照相同的顺序发送到consumer。这意味着不是存储每一个消息的元数据(比如将它标记为consumed),我们只需要存储对每一个consumertopic和分片的高水位标志。因此概括consumer状态需要的元数据实际上非常的小。在Kafka中我们将这个高水位线作为偏移量,至于原因在下面的实现部分就会清楚了。

12.consumer状态

  Kafka也维护着关于什么被消费给客户端的状态。这为一些简单的用例提供了便利,在一些方面有好处。在最简单的用例是consumer将一些聚合的值录入到一个集中的事务型在线交易处理数据库。在这个用例中consumer可以存储在和数据库修改相同的事务中什么被消费的状态。这解决了分布式的一致性问题,通过移出分布式的部分。一个巧妙的技术也可以对一些非事务的系统有效。一个搜索系统可以用索引分段保存它的consumer状态。虽然它提供了不持久的保证,这意味着索引总是与consumer状态保持一致:如果一个未刷出的索引分段在一次崩溃中丢失,索引将总是从上一个检查点的偏移量开始重新消费。同样的,我们用来冲Kafka中向Hadoop并行加载数据的作业,就做了这样一个技巧。单个的mappermap任务结束的时候把上一次消费掉的消息的偏移量写入HDFS。如果一个作业失败了并且重新运行,每个mapper仅仅是从存储在HDFS中的偏移量的位置重新开始。

      这个决定有一方面的好处。一个consumer可以故意的倒回到一个旧的偏移量并且重新消费数据。这违反了一个队列的常规约定,但却是许多的consumer中必须的一个特性。比如说,如果consumer的代码有问题,而且这是在一些消息已经被处理的之后发现的,这些consumer可以在bug修复以后重新消费那些消息。

13.推还是拉

      一个相关问题是是consumerbroker上拉去数据还是broker将数据退送给订阅者。在这一方面,Kafka延续了一个被大部分的消息处理系统采用的传统的设计,也就是数据从producer推送到broker,接着consumer在从broker上拉取数据。许多近期的系统中,比如是scribeflume,将重点放在日志的整合上,采用了另一种基于路径的推送,这种情况下,每一个节点充当一个broker而数据被顺流而下的推送。这两种方法有利有弊。但是一个基于推送的系统在处理不同的consumer方面有困难,因为broker控制着数据以多达的速率被传送。对于consumer的目标是可以在最大的速率下进行消费;不幸的是在一个推送系统中这意味着当消费的速率低于生产(本质上,就是拒绝服务攻击)的速率的时候consumer将会招架不住。一个基于拉取的系统有一个非常好的性质就是consumer可以简单的落后并在可以的时候再跟上。这可以通过一些退避协议来缓和,通过退避协议consumer可以指示它已经过载了,但是使得传输的速率充分的利用consumer要比想象的难处理。之前用这种方式构建系统的尝试引导我们采用一种更为传统的拉取模型。

14.分布

Kafka通常运行在一个集群的机器上。Brokerconsumer通过Zookeeper协调发现topics并且协调消费。这里没有中心的主节点,取而代之的是brokerconsumer作为对等节点集中的元素互相配合。集群中的机器集是非常灵活的:brokerconsumer都可以在任何时候不用任何手动配置的增加和删除。

    目前,在Kafka中的producerbroker之间没有内建的负载均衡;in our own usage we publish from a large number of heterogeneous machines and so it is desirable that the publisher not need any explicit knowledge of the cluster topology。我们依赖于一个硬件负载均衡器在多个broker中分配producer的负载。我们将考虑在将来的版本中添加这一功能来支持消息基于语义的分片(比如将基于某种ID的所有的消息发布到一个特定的broker上以保证在这个ID中更新流的顺序)。

Kafkaconsumerbroker之间有一个内建的负载均衡器。要达到这种配合,每一个brokerconsumer都要在Zookeeper中注册它的状态并且保存它的元数据。 当这里有一个brokerconsumer的改变的时候,Zookeeper的观察者将通知每一个consumer 接着consumer读取所有当前关于相关的brokerconsumer的信息,并决定应该消费来自拿个broker的数据。

这种集群感知的消费平衡有一些优点:

l  它允许在consumer进程排序方面更好的语义支持(从此所有的对于一个特定分片的更新将作为一个单独的流被按顺序处理)

l  它也强制在集群中公平负载这样每一个broker都将被用来消费

l  最后,因为进程之间不会协调除了当一个新的broker或者consumer出现的时候,它可以更加的有效。不是在每一个请求的时候在分片上加锁和解锁(这可能比想象中的还耗费资源),我们仅仅是将一个分片锁定给一个特定的consumer进程直到网络拓扑发生变化。这使得用一个在元数据中懒惰的更新换取了更好的性能。

 

15.Producer

自动的均衡负载:

     0.6版本中,我们引进了一个内建的在producerbroker之间自动均衡负载器;in our own usage we publish from a large number of heterogeneous machines and so it is desirable that the publisher not need any explicit knowledge of the cluster topology。我们依赖于一个硬件负载均衡器在多个broker中分配producer的负载。使用这个硬件负载均衡器的优势是“healthcheck”服务,这个服务检测到如果一个broker挂了就将producer请求转给另一个正常的broker。在0.6版本中,这个“healthcheck”功能是由集群感知中的producer提供。Producer发现集群中可用的broker和它们每一个上面的分片数目,通过在zookeeper中注册观察者。

因为broker中分片的数目是对每一个topic都是你可配置的,Zookeeper的观察者在以下的事件中进行注册:

l  新的broker出现

l  一个broker删除

l  新的topic被注册

l  一个broker被一个已存在topic注册

内部的,producer维持了一个灵活的到broker的连接池,一个连接到一个

broker。这个连接池保持更新建立和维护到所有的活动的broker,通过zookeeper的回调信号。当一个producer对一个特定的topic的请求到来,一个broker的分片被选出通过partitioner。连接池中可用的producer连接被用来发送数据到选定的broker分片。

16.异步传送

异步非阻塞操作是可扩展的消息系统的基石。在kafka中,producer提供了一个选项来对produce的请求进行异步的分配(producer.type=async)。这允许在一个内存的队列中缓存produce的请求并通过一个时间间隔或者预配置的批量大小来触发进行成批的发送。因为数据通常来自以不同速率产生数据的异源的机器集中,这个异步的缓存帮助生成了到达broker中的统一的通信,以达到更好的网络利用率和更高的吞吐量。

17.语义分片

考虑这样一个应用,用于统计每个成员的网友访问量。这将首先将所有对一个成员的访问事件发送到一个特定的分片,因此使得所有关于这个成员的更新出现在相同consumer线程中的相同的流中。在0.6版本中,我们给集群感知producer添加了可以从语义上将消息映射到可用的kafka节点和分片中。这许可用一些语义上的分片函数基于消息中的某些key对消息流进行分片并在broker机器上传播。那些分片函数可以通过实现kafka.producer.Partitioner 接口就可以了,默认的是一个随机的partitioner 。比如说上面的例子,key如果是member_id 的话,那么分片函数将会是hash(member_id)%num_partitions

18.对Hadoop和其他批量数据加载的支持

可扩展的持久化考虑到了对批数据加载支持的可能性,比如周期性的将快照存入到一个离线系统做批量处理。我们使用这个将数据加载到我们的数据仓库和hadoop集群。 批处理发生在开始加载数据的阶段和进行无循环图处理并输出的阶段(e.g. as supported here)。支持这个模型的一个基本特性就是可以从一个时间点重新加载数据,以防止出现一些错误。

Hadoop的案例中,我们通过将装载量分割给单独的map任务,一个对应一个node/topic/partition 组合,实现在加载过程中的完全并行化。Hadoop提供了任务管理,如果任务失败会重新启动而且不会出现重复的数据。

 

 

PMP考试内容:

     ●PMBOK的内容至少占60%,5个过程组和9个知识领域基本上全部会涉及。
     ●张斌老师的PMP备考指南+PMBOK 约占考题的70%
     ●其它30%:平时习题积累
     ●考题难度分布:难10%、中20%、易70%

备考参考资料

    ●PMBOK(中、英)
    ●张斌老师讲义
    ●张斌老师备考指南
    ●模拟考试
    ●智鼎作业

关于PMBOK的看书方法(很重要)

    ●PMBOK(中)精读3遍,重点前三章。前2遍按照9大知识领域、第3遍按照5大过程组熟悉42个子过程。
    ●一遍英文书,或至少英文术语要熟悉(建议和第1遍看中文书时同步)
    ●平时多留心42个过程的输入、工具、输出,考前20天强化记忆(会有总表)
    ●考前1周看PMBOK后边的术语表
    ●课堂讲义:可看1遍
    ●张斌老师备考书至少3遍精读,考点很多

 

 选择是一种智慧=成功了一半

        有很多同学,项目管理经验也很丰富,但为什么还是考不过PMP呢?

        因为PMP考试强调的是项目管理知识的全面性和你对一套新的规范和知识的熟悉程度。况且考试题目的特殊项目环境是映射相应考点的,考点是相当多的,且我们同美国人的思维不同,需要适应美国的考试思维,这样就更加增大了考试的不确定性。机构能帮你什么呢?这正是他们带给考生的核心价值:PMP备考就是战争,战争离不开战略和战术!

       好的培训机构会告诉你这场战斗的最好战略。
       你的努力就是不可缺少的战术。
       好的培训机构直接决定你复习的效率。
       好的培训机构会告诉你怎么复习,用什么书籍,做什么模拟试题,什么时间做什么。
       好的培训机构对考题特别钻研、有很强的预见性。

 

 良好的预习是成功的第一步

        按照美国的PMP备考基准,标准的复习周期为2-3个月。最少不要少于2个月,最多也不要超过4个月。少于两个月复习时间相当仓促,很多知识点很难消化吸收和真正理解深入,多半是囫囵吞枣。4个月的话时间成本比较高,2-2个半月复习时间最为合适。PMP备考是一个“由薄变厚”和“由厚变薄”的过程。PMBOK在整个备考复习过程中至少要看3遍,知识点包括42个过程及标准化、模块化、结构化的庞大知识体系。所以做好准备,提早看书和掌握课程大概内容为好,可以把课前的预习作为第一遍看书(PMBOK)。预习将给你的学习带来很好的开端!

       参照时间安排,确定可以参加备考时间段。整个备考过程大概投入200小时左右。
      考察培训机构。考核因素讲师、授课模式、备考体系是否科学。
      电话咨询细节并核对参考资格。
      报名领教材,开始课前预习准备。

放弃固有思维一切从零开始

        在日常工作中,大多数我们接触的项目并不同于美国PMI理想中的项目环境。加上同学们本身所在企业的项目成熟度和环境不尽相同,有的甚至不完善、不规范或不正确。项目的大小也不相同。个人操作项目也有着不同的操纵习惯和坚持的做法。所以,要想学好PMI这套标准项目管理知识,就要放弃个人的固有思维模式和项目环境。比如:默认为你们公司是一个项目型企业(而大多数企业都是混合型,项目化企业。);假设你们公司相当重视项目管理,已经非常成熟和完善;假设你的客户都是通情达理、容易接受有理由的建议;假设你的职能经理是一个豁达、大局为重、体贴的领导……      

       放弃你熟悉的真实项目环境
       全方位接纳PMBOK的模拟项目环境
       用PMBOK项目管理理念去思维
       从不断的联系中不断总结关于考试的思维方式

 

复习要复习到点子上

       如同雅思、托福一样,PMP考试也是有技巧可循的。备考机构在这个方面一定是专家,所以一定不要把心思和时间浪费在怀疑班主任提出的复习方法,都是提炼的优质方法。比如:一张流程图的背诵可以把整个项目管理知识体系(整本书)穿成串,这样省了你50%的书本记忆!不由你不信,背下来你就全明白了!另外就是每一道考题其实就是一个考点,所以不要放过每一道有用的考点,但题海战术是特别不提倡的,是最低效的!

智鼎备考地图和复习战略!
《 备考地图上的全部考点都需要深入思考
《 按照复习要略有的放矢、事半功倍
《 PMP考试涉及的10种计算题总结让你考试计算题全搞定
《 一张图让你看书省力50%
《 考试审题、答题也是有技巧的
《 考前的冲刺准备很重要

 

做一定数量的高质量题

       如果说,除了复习的技巧以外,最重要的就是实际努力了,包括做题,这是巩固知识的很好的方法。中国人的应试能力很强,做模拟题目就是培养这种应考能力的最好方法。想一次通过PMP考试要根据老师的安排,做一定量的题目,但非越多越好,而是练习考点,把考点都练到了。做题思维有了,就形成了题感(做题技巧、出题技巧)。一旦你看到一道题就能回顾书中的考点,你就成了。这些题和考点,需要彻底弄明白,能够举一反三!

       按时保质做好课堂练习、查缺补漏
       作业题让你找找考试的考题影子、统计错题数,了解复习程度,调节复习进度和计划
       考前的冲刺模考要弄懂每一道题和对应考点

      

建立以组为单位的高效必胜团队

       团队的力量不能小视,在你觉得孤独无助或是枯燥烦闷的时候,其他队员会影响你、鼓励你,获得力量!参加小组活动吧,讨论和争吵会让你印象更加深刻,头脑风暴会让你思路更加开阔,考试的时候你就会发现,原来这个题目曾经讨论过。遇到理解不了的题目,别人的一句话可能让你顿时醒悟!另外,讨论经常是跑题的,可以接触到更多的行业信息或了解其他公司情况。

       确定组员了解小组活动的重要性
       需要组员达成协议,相互配合
       组长需要有组织协调能力,胜任组长工作
       采用便于组员沟通的形势和工具
       定期活动,不能松懈
       互相监督、鼓励

 

分享到:
评论

相关推荐

    基于Kafka的消息发布订阅服务的设计与实现_卢帅.caj

    基于Kafka的消息发布订阅服务的设计与实现_卢帅.caj

    分布式发布订阅消息系统 Kafka 架构设计

    参与翻译(4人):fbm, 飞翔的猴子, Khiyuan, nesteaa 感谢这些同志们的辛勤工作,翻译的真不错,目前见到的最好的Kafka中文文章

    基于分布式的发布订阅消息系统Kafka

    在Kafka中,数据生产者(Publishers)发布消息到主题(Topics),而消费者(Subscribers)订阅这些主题并消费消息。每个主题可以被分为多个分区,这些分区可以在不同的服务器上分布,以实现负载均衡。此外,Kafka...

    KAFKA分布式消息系统(window)

    它主要设计用于处理实时流数据,允许应用程序发布和订阅消息,同时提供了一个可扩展且容错的数据总线。本文将详细讲解如何在Windows环境下搭建Kafka,并探讨其核心概念和使用命令。 **一、Kafka基本概念** 1. **...

    kafka分布式发布订阅消息系统 v2.6.3.tgz

    其设计原理基于发布订阅模型,允许生产者发布消息到主题(Topic),而消费者可以从这些主题中订阅并消费消息。每个主题可以分为多个分区(Partition),这些分区在集群中的节点间分布,实现了负载均衡和高可用性。...

    kafka分布式发布订阅消息系统 v3.3.1.tgz

    《Kafka分布式发布订阅消息系统 v3.3.1 深度解析》 Apache Kafka是一款高吞吐量、分布式、基于发布/订阅的消息系统,它最初由LinkedIn开发,并最终捐赠给了Apache软件基金会。Kafka v3.3.1作为其最新的版本,带来了...

    Kafka分布式消息系统

    Kafka 的Broker是无状态的,不保存消息副本或订阅者状态,这简化了系统设计,但也带来了一些挑战,如消息删除依赖于时间SLA,消费者可以回溯到任意位置重读消息。Consumer Group允许一组消费者并行消费主题,每个组...

    Kafka 消息队列(高清版)深入理解Kafka:核心设计与实践原理.zip

    - **生产者(Producer)**:负责向Kafka发布消息的客户端。 - **消费者(Consumer)**:消费主题中消息的客户端,可以订阅一个或多个主题。 - **消费者组(Consumer Group)**:消费者以组的形式工作,每个消息...

    kettle kafka 消息者插件

    Kettle Kafka 消息者插件是为 Pentaho Data Integration(也称为 Kettle 或 PDI)设计的一个组件,目的是为了帮助用户将Kafka数据流集成到Pentaho的数据处理流程中。Pentaho Data Integration 是一个强大的ETL...

    kafka:一个分布式消息系统

    生产者(Producer)是能够发布消息到话题的任何对象。已发布的消息保存在一组服务器中,它们被称为代理(Broker)或 Kafka 集群。消费者可以订阅一个或多个话题,并从 Broker 拉数据,从而消费这些已发布的消息。 ...

    KAFKA分布式消息系统

    Kafka 是一种分布式消息系统,最初由 LinkedIn 开发,现在是 Apache 软件基金会的顶级项目。Kafka 主要设计目标是处理大规模实时数据,它适用于日志聚合、流处理和作为微服务间的通信桥梁。 Kafka 的核心概念包括...

    分布式发布订阅消息系统Kafka架构设计

    Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activitystream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司作为多种类型的数据管道(datapipeline)和消息系统使用。...

    Apache Kafka 下一代分布式消息系统

    作为下一代分布式消息系统,Kafka 提供了发布/订阅消息队列的机制。Kafka 的这些特点为构建可靠的分布式系统和大数据处理提供了坚实的基础。 首先,分布式系统的核心在于能够分布在多个物理机器上运行,分布式系统...

    kafka文件系统设计

    总结来说,Kafka文件系统设计的几个关键点包括: - topic下分区与段(segment)文件的管理,实现负载均衡和读写分离。 - 消息结构的设计,包含CRC校验、key、负载等,确保消息的完整性和可选性。 - 稀疏索引的设计,...

    Kafka技术内幕:图文详解Kafka源码设计与实现+书签.pdf+源码

    1. **发布/订阅模型**:Kafka采用发布/订阅模型,生产者发布消息到主题(Topic),消费者则订阅这些主题以接收消息。每个主题可以被分成多个分区(Partition),保证了消息的顺序性和高可用性。 2. **分区与副本**...

    KAFKA分布式消息系统(linux)

    3. **生产者(Producer)**:生产者是向Kafka发布消息的应用程序。它可以将数据发布到一个或多个主题。 4. **消费者(Consumer)**:消费者是从Kafka订阅并消费消息的应用程序。消费者可以订阅一个或多个主题,并...

    基于Java与多语言支持的高吞吐量分布式发布订阅消息系统kafka设计源码

    本项目是一款基于Java核心,支持多语言开发的高吞吐量分布式消息系统——Kafka的设计源码。该系统以Java为主要开发语言,辅以Scala、Python、HTML、Shell和JavaScript等语言,共计包含3422个文件,其中Java文件占比...

    基于Kafka消息队列的新一代分布式电量采集方法研究.pdf

    利用Kafka的发布/订阅模式,消息队列能够保证数据分发的高效性和可靠性。 3. 数据采集与传输:文章的摘要中提到了“电量数据采集的完整性及数据传输的可靠性”这一研究重点。为了向线损管理提供及时和准确的电量...

    C#_Kafka_Demo.rar

    3. 发布消息:使用`ProduceAsync`方法,指定主题和消息内容。 例如: ```csharp using KafkaNet; var broker = new Uri("localhost:9092"); var client = new KafkaClient(broker); var producer = new Producer...

    最新ELK集群 => KafKa消息队列.pdf

    2. **Producer**:消息的发布者,负责向指定 Topic 发布消息。 3. **Consumer**:消息的消费者,订阅 Topic 并处理发布到该 Topic 的消息。 4. **Broker**:Kafka 服务节点,保存和处理消息。 5. **Partition**:...

Global site tag (gtag.js) - Google Analytics