资讯月刊下载
[互联网]
Kafka OffsetMonitor：监控消费者和延迟的队列
一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。 KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置（偏移量）。 你可以查看当前的消费者组，每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否 很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的produce ...
[数据库]
如何做到“恰好一次”地传递数十亿条消息
引用原文：Delivering Billions of Messages Exactly Once 作者：Amir Abu Shareb 翻译：雁惊寒 译者注：在分布式领域中存在着三种类型的消息投递语义，分别是：最多一次（at-most-once）、至少一次（at-least-once）和恰好一次（exactly-once）。本文作者介绍了一个利用Kafka和RocksDB来构建的“恰好一次”消息去 ...
[编程语言]
简单易用的消息队列框架的设计与实现
引用作者：李艳鹏，支付平台架构师，专注线上和线下支付平台的应用架构和技术架构的规划与落地，负责交易、支付、渠道、账务、计费、风控、对账等系统的设计与实现，在移动支付、聚合支付、合规账户、扫码支付、标记化支付等业务场景上有产品应用架构规划的经验。微信：robert_lyp；主页有：简书博客； 开源项目；个人博客；CSDN博客 责编：陈秋歌，寻求报道或者投稿请发邮件至chenqg@csdn.net。 了 ...
[开源软件]
logkafka - Apache Kafka的日志收集代理
logkafka是一个日志收集代理，可以按行收集日志文件并发送到kafka 0.8，每行为一条消息。 在生产环境部署之前请查看一下FAQ。 特性 通过zookeeper来管理日志收集相关配置 支持包含时间格式的日志路径 日志文件轮转 批量发送 压缩 (none, gzip, snappy) 消息正则过滤器 用户自定义分隔符 用户自定义监控 与其他日志聚合&监控工具的区别 与f ...
[互联网]
2016年热门技术方向预测
关于2016年对技术的预测众说纷纭，我有一些在MongoDB公司的朋友和我说了他们的预测。关于Kafka和Container Orchestration的预测看来非常正确。我还想补充的一点是，微服务仍将很重要，以及Apache Spark将会如同星星之火燎原。我觉得Scala、Go、Python将急剧上升，Java将保持稳定。很多很酷的新项目和技术会以大数据，云和devops的工作形式出现。让我们一 ...
[互联网]
Autodesk基于Mesos的通用事件系统架构
【编者按】本文由Autodesk Cloud软件架构师Olivier Paugam撰写，解释了如何集合Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato、EC2等基础设施解决实际问题。此外，以如此小规模的团队解决问题确实令人赞叹。 以下为分享原文： 数月前分到了一项新的任务：做一个集中事件系统（central eventing system），允许各个后端彼此通 ...
[开源软件]
Apache Kafka 0.8.0发布，高吞吐量分布式消息系统
Apache Kafka 0.8.0版本近日发布。Apache Kafka是源自LinkedIn的一种分布式日志服务，主要用Scala语言开发（少量Java），其实质是高吞吐量而功能简单的消息队列。由于架构设计独特，Kafka与传统消息队列相比，内置分区、复制和容错功能，适合大规模系统。曾有数据表明，Kafka能够每秒发布超过40万条消息。 目前Kafka已经被众多互联网公司如Twitter、Pi ...
[开源软件]
分布式消息中间件 Metaq 1.4.3 发布
开源消息中间件metaq今天发布了1.4.3版本，主要做了如下改进： 支持发送和订阅分离，可以细粒度地控制Broker或者某个Topic是否接收消息和接受订阅。服务端添加新选项acceptPublish和acceptSubscribe。 更友好地关闭Broker，梳理关闭流程并通过JMX调用方法关闭替代原来简单的kill。 更新python客户端到0.2版本，可以通过pip安装: pip in ...