资讯频道 → 数据库
阅读更多

1顶
0踩

数据库

原创新闻 KSQL：Apache Kafka的开源流式SQL

2017-09-11 09:19 by 副主编 jihong10102006 评论(0) 有7556人浏览
SQL KSQL

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
原文：Neha Narkhede
作者：Madison Moore
翻译：lloog

译者注：作者从好处、特点、下一步发展等多维度介绍Apache Kafka的开源流式SQL，KSQL。

KSQL是一个用于Apache katkatm的流式SQL引擎。KSQL降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据。你不再需要用Java或Python这样的编程语言编写代码了！KSQL是开源的(Apache 2.0许可)、分布式的、可扩展的、可靠的和实时的。它支持广泛的强大的流处理操作，包括聚合、连接、窗口、会话，等等。

一个简单的例子

查询流数据是什么意思，这与SQL数据库有什么区别呢?

实际上，它与SQL数据库有很大的不同。大多数数据库都用于对存储数据进行按需查找和修改。KSQL不进行查找(但是)，它所做的是连续的转换——也就是，流处理。例如，假设我有一个来自用户的点击流，以及一个关于这些用户不断更新的帐户信息的表。KSQL允许我对这一串单击和用户表进行建模，并将两者结合在一起。即使这两件事之一是无限的。
因此，KSQL所运行的是连续查询——在Kafka主题的数据流中，连续不断地运行新数据。相反，传统数据库对关系数据库的查询是一次性查询——在数据库中运行一次SELECT语句获取有限行的数据集。

KSQL的好处是什么?

很好，所以你可以不断地查询无限的数据流。这有什么好处?

1 实时监控实时分析 
CREATE TABLE error_counts AS
SELECT error_code, count(*)FROM monitoring_stream
WINDOW TUMBLING (SIZE 1 MINUTE)
WHERE type = 'ERROR'

其中的一个用途是定义定制的业务级度量，这些度量是实时计算的，您可以监视和警报，就像您的CPU负载一样。另一个用途是在KSQL中定义应用程序的正确性的概念，并检查它在生产过程中是否会遇到这个问题。通常，当我们想到监控时，我们会想到计数器和仪表跟踪低水平的性能统计。这些类型的测量器通常可以告诉你CPU负载很高，但是它们不能真正告诉你你的应用程序是否在做它应该做的事情。KSQL允许从应用程序生成的原始事件流中定义定制指标，无论它们是日志事件、数据库更新还是其他类型的事件。

例如，一个web应用程序可能需要检查，每次新客户注册一个受欢迎的电子邮件，创建一个新的用户记录，并且他们的信用卡被计费。这些功能可能分布在不同的服务或应用程序中，您可能希望监视每个新客户在SLA中发生的每一件事，比如30秒。

2 安全性和异常检测 
CREATE STREAM possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY card_number
HAVING count(*) > 3;

这是您在上面的演示中看到的一个简单的版本:KSQL查询，它将事件流转换为数值时间序列，使用Kafka-Elastic连接器将其注入到弹性中，并在Grafana UI中可视化。安全用例通常看起来很像监视和分析。而不是监视应用程序的行为或业务行为，您正在寻找欺诈、滥用、垃圾邮件、入侵或其他不良行为的模式。KSQL提供了一种简单、复杂和实时的方式来定义这些模式和查询实时流。

3 在线数据集成 
CREATE STREAM vip_users AS
SELECT userid, page, action 
FROM clickstream c 
LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';

在公司中完成的大部分数据处理都属于数据丰富的领域:从几个数据库中提取数据，转换它，将其连接到一个键值存储、搜索索引、缓存或其他数据服务系统中。在很长一段时间内，用于数据集成的ETL-提取、转换和加载-作为周期性的批处理作业执行。例如，实时转储原始数据，然后每隔几个小时转换一次，以实现高效的查询。对于许多用例来说，这种延迟是不可接受的。KSQL与Kafka的连接器一起使用时，可以从批处理数据集成到在线数据集成。您可以使用流-表连接存储在表中的元数据来丰富数据流，或者在将流加载到另一个系统之前对PII(个人可识别的信息)进行简单的过滤。

4 应用程序开发

许多应用程序将输入流转换为输出流。 例如，负责重新排序在线商店库存不足的产品的流程可能会产生销售和出货流，以计算出订单流。

对于用Java编写的更复杂的应用程序来说，Kafka的原生流API可能帮助不大。但是对于简单的应用程序，或者对Java编程不感兴趣的团队来说，一个简单的SQL接口可能就是他们想要的。

KSQL中的核心抽象

KSQL在内部使用Kafka的Streams API，并且它们共享与Kafka流处理相同的核心抽象。 KSQL有两个核心抽象，它们映射到Kafka Streams中的两个核心抽象，并允许您操纵Kafka主题：

1.流：流是无限制的结构化数据序列（“事实”）。 例如，我们可以有一个金融交易流，例如“Alice向Bob发送了100美元，然后查理向鲍勃发送了50美元”。 流中的事实是不可变的，这意味着可以将新事实插入到流中，但是现有事实永远不会被更新或删除。 流可以从Kafka主题创建，或者从现有的流和表中派生。 
CREATE STREAM pageviews (viewtime BIGINT, userid VARCHAR, pageid VARCHAR) 
WITH (kafka_topic='pageviews', value_format=’JSON’);


2。表:一个表是一个流或另一个表的视图，它代表了一个不断变化的事实的集合。例如，我们可以拥有一个包含最新财务信息的表，例如“Bob的经常帐户余额为$150”。它相当于传统的数据库表，但通过流化等流语义来丰富。表中的事实是可变的，这意味着可以将新的事实插入到表中，现有的事实可以被更新或删除。可以从Kafka主题中创建表，也可以从现有的流和表中派生表。 
CREATE TABLE users (registertime BIGINT, gender VARCHAR, regionid VARCHAR, userid  VARCHAR) 
WITH (kafka_topic='users', value_format='DELIMITED');

KSQL简化了流应用程序，因为它完全集成了表和流的概念，允许使用表示现在发生的事件的流来连接表示当前状态的表。 Apache Kafka中的一个主题可以表示为KSQL中的STREAM或TABLE，具体取决于主题处理的预期语义。 例如，如果要将主题中的数据作为一系列独立值读取，则可以使用CREATE STREAM。此类流的一个例子是捕获页面视图事件，其中每个页面视图事件都不相关且独立于另一个页面视图事件。另一方面，如果您希望将某个主题中的数据读取为可更新的值的集合，那么您将使用CREATE TABLE。在KSQL中应该读取一个主题的示例，它捕获用户元数据，其中每个事件代表特定用户id的最新元数据，如用户的姓名、地址或首选项。

KSQL:实时点击流分析和异常检测

让我们来看一个真正的例子。这个例子展示如何使用KSQL进行实时监视、异常检测和警报。对clickstream数据的实时日志分析可以采取多种形式。在本例中，我们将标记在web服务器上消耗过多带宽的恶意用户会话。监视恶意用户会话是会话化的众多应用之一。但从广义上说，会话是用户行为分析的基础。一旦您将用户和事件关联到一个特定的会话标识符，您就可以构建许多类型的分析，从简单的度量，例如访问计数。我们通过展示如何在Elastic支持的Grafana仪表板上实时显示KSQL查询的输出，来结束这个例子。

您也可以按照我们的指示，亲自完成例子，并查看代码。

看看里面

有一个KSQL服务器进程执行查询。一组KSQL进程作为集群运行。您可以通过启动更多的KSQL server实例来动态添加更多的处理能力。这些实例是容错的:如果一个失败了，其他的就会接管它的工作。查询是使用交互式的KSQL命令行客户端启动的，该客户端通过REST API向集群发送命令。命令行允许检查可用的流和表，发出新的查询，检查状态并终止正在运行的查询。KSQL内部是使用Kafka的流API构建的;它继承了它的弹性可伸缩性、先进的状态管理和容错功能，并支持Kafka最近引入的一次性处理语义。KSQL服务器将此嵌入到一个分布式SQL引擎中(包括一些用于查询性能的自动字节代码生成)和一个用于查询和控制的REST API。

Kafka + KSQL将数据库转出来

过去我们已经讨论过将数据库转入内部，现在我们通过向内向外的DB添加一个SQL层来实现。

在关系数据库中，表是核心抽象，日志是一个实现细节。 在以数据库为中心的事件世界中，核心抽象不是表; 它是日志。 这些表只是从日志导出的，并随着新数据到达日志而不断更新。 中央日志是Kafka，KSQL是引擎，允许您创建所需的物化视图，并将其表示为不断更新的表。
然后，您可以以这种流式表格方式运行即时查询（即将在KSQL中），以便以持续的方式获取日志中每个键的最新值。

使用Kafka和KSQL将数据库转出，对一家公司的所有数据都有很大的影响，这些数据可以自然地以流媒体方式进行表示和处理。Kafka日志是流数据的核心存储抽象，允许进入您的离线数据仓库的相同数据现在可以用于流处理。其他一切都是在日志上的一个流化的物化视图，它是各种数据库、搜索索引，或者是公司的其他数据服务系统。创建这些派生视图所需的所有数据和ETL，现在都可以使用KSQL以流媒体方式完成。监控、安全、异常和威胁检测、分析和对故障的响应都可以实时进行，而当时间太晚了。所有这些都可以通过一个简单而又熟悉的SQL接口来使用所有Kafka的数据:KSQL。

KSQL的下一步是什么？

我们正在发布KSQL作为开发者预览，开始构建社区，收集反馈。我们计划在开源社区工作时增加更多的功能，将其从质量，稳定性和KSQL的可操作性转变为生产就绪系统，以支持更丰富的SQL语法，包括进一步的聚合功能和时间点SELECT在连续的表上 - 即，为了能够快速查找到目前为止所计算的内容，以及连续计算流结果的当前功能。
  • 大小: 42.4 KB
  • 大小: 40 KB
  • 大小: 28.9 KB
  • 大小: 62.8 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • KSQL：ApacheKafka的开源流式SQL

    KSQL是一个用于Apachekatkatm的流式SQL引擎。KSQL降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据。你不再需要用Java或Python这样的编程语言编写代码了！KSQL是开源的(Apache...

  • KSQL：Apache Kafka的流式SQL

    我很高兴地宣布KSQL，为Apache kafka流SQL引擎®。KSQL降低了流处理世界的入口，提供了一个简单而完全交互的SQL接口，用于处理Kafka中的数据。您不再需要使用Java或Python等编程语言编写代码！KSQL是分布式的，可...

  • 进击消息中间件系列（十四）：Kafka 流式 SQL 引擎 KSQL

    前面介绍了 KafkaAPI的使用、副本（Replication）机制、存储机制、事务机制、高可用与生产消费相关的知识点，今天我将详细的为大家介绍Kafka 流式 SQL 引擎 KSQL相关知识，希望大家能够从中收获多多！如有帮助，请点...

  • 重磅开源 KSQL：用于 Apache Kafka 的流数据 SQL 引擎 2017.8.29

    推出KSQL 是为了降低流式处理的门槛，为处理Kafka 数据提供简单而完整的可交互式SQL 接口。KSQL 目前可以支持多种流式操作，包括聚合(aggregate)、连接(join)、时间窗口(window)、会话(session)，等等。 ...

  • KSQL介绍：面向Apache Kafka的开源Streaming SQL引擎

    2019独角兽企业重金招聘Python工程师标准>>> ...https://www.confluent.io/blog/ksql-open-source-streaming-sql-for-apache-kafka/ 转载于:https://my.oschina.net/hblt147/blog/3038543

  • KSQL，用于Apache Kafka的流数据SQL引擎

    Apache Kafka是一个分布式的、分区的、多复本的日志提交服务，使用Scala编写，以可水平...目前，越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka拓扑结构Kafka的设计可以...

  • apache kafka_发布/订阅消息传递：Apache Kafka与Apache Pulsar

    无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka始终是分布式流应用程序的坚如磐石，开源，首选。 但是，卡夫卡并不是镇上唯一的游戏。 由Yahoo...

  • Apache Kafka 可视化工具调研

    Apache Kafka 可视化工具调研

  • apache kafka_Apache Kafka与Apache Pulsar：如何选择

    无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka始终是分布式流应用程序的坚如磐石，开源，首选。 但是，卡夫卡并不是镇上唯一的游戏。 由Yahoo...

  • Apache Kafka 是一款开源的分布式流处理平台，它提供了低延迟的数据处理能力。详细介绍 Apache Kafka 的相关概念、术语、核心算法及操作步骤以及代码实例

    Apache Kafka（Kafka）是一个开源的分布式流处理平台，由LinkedIn开发并开源，最初起源于 LinkedIn 的实时数据管道之中，随着时间推移，Kafka 一直在不断地演进完善，并被越来越多的公司所采用。由于其优秀的性能、...

  • Apache Kafka与Apache Pulsar：如何选择

    无论您要添加Apache Storm或Apache Spark之类的东西进行处理还是使用Apache Kafka本身提供的处理工具，Apache Kafka仍然是分布式流应用程序的坚如磐石的，开源的首选。 但是，卡夫卡并不是镇上唯一的游戏。 由...

  • Apache Kafka & SAP

    原文：https://www.kai-waehner.de/blog/2019/11/22/apache-kafka-automotive-industry-industrial-iot-iiot/ 最近项目关系了解到了Kafka，一下被这个神奇的物种折服，我代表着无限，随时在线并且连通万物。所以必须...

  • 在实践运用中，Apache Kafka的实时数仓到底如何？

    Apache Kafka 社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得 Apache Kafka 功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。 Apache Kafka 作为一个热门消息队列中间件，...

  • 人力资源经理绩效考核表.xls

    人力资源经理绩效考核表

  • 智慧环卫管理平台建设方案Word(211页).docx

    一、智慧环卫管理平台的建设背景与目标 智慧环卫管理平台的建设源于对环卫管理全面升级的需求。当前，城管局已拥有139辆配备车载GPS系统、摄像头和油耗传感器的环卫车辆，但环卫人员尚未配备智能移动终端，公厕也缺乏信息化系统和智能终端设备。为了提升环卫作业效率、实现精细化管理并节省开支，智慧环卫管理平台应运而生。该平台旨在通过信息化技术和软硬件设备，如车载智能终端和环卫手机App，实时了解环卫人员、车辆的工作状态、信息和历史记录，使环卫作业管理透明化、精细化。同时，平台还期望通过数据模型搭建和数据研读，实现更合理的环卫动态资源配置，为环卫工作的科学、健康、持续发展提供决策支持。 二、智慧环卫管理平台的建设内容与功能 智慧环卫管理平台的建设内容包括运行机制体制建设、业务流程设计、智慧公厕系统建设、网络建设、主机和储存平台需求、平台运维管理体系、硬件标准规范体系以及考核评价体系等多个方面。其中，智慧公厕系统建设尤为关键，它能实时监控公厕运行状态，保障公厕的清洁和正常运行。平台建设还充分利用了现有的电子政务网络资源，并考虑了有线和无线网络的需求。在功能上，平台通过普查、整合等手段全面收集环卫车辆、企业、人员、设施、设备等数据，建立智慧环卫基础数据库。利用智能传感、卫星定位等技术实现环卫作业的在线监管和远程监控，实现对道路、公共场所等的作业状况和卫生状况的全面监管。此外，平台还建立了环卫作业网格化管理责任机制，实现从作业过程到结果的全面监管，科学评价区域、部门、单位和人员的作业效果。 三、智慧环卫管理平台的效益与风险规避 智慧环卫管理平台的建设将带来显著的环境、经济和管理效益。环境方面，它将有力推进环境卫生监管服务工作，改善环境卫生状况，为人民群众创造更加清洁、卫生的工作和生活环境。经济方面，通过智慧化监管，大大降低了传统管理手段的成本，提高了监管的准确性和效率。管理方面，平台能够追踪溯源市民反映的问题，如公厕异味、渣土车辆抛洒等，并找到相应的责任单位进行处置，防止类似事件再次发生。同时，平台还拥有强大的预警机制功能，能够在很多环卫问题尚未出现前进行处置。然而，平台建设也面临一定的风险，如部门协调、配合问题，建设单位选择风险以及不可预测的自然灾害等。为了规避这些风险，需要加强领导、统一思想，选择优秀的系统集成商承接项目建设，并做好计算机和应用系统的培训工作。同时，也要注意标准制定工作和相关法律法规的制定工作，以保证系统建设完成后能够真正为环卫管理工作带来便利。

  • apache-parent-10-14.el7.x64-86.rpm.tar.gz

    1、文件内容：apache-parent-10-14.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/apache-parent-10-14.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、安装指导：私信博主，全程指导安装

  • 用于卫星通信的CTS天线

    用于卫星通信的圆极化CTS天线研究

  • 人事档案登记及查询系统.xlsx

    人事档案登记及查询系统

  • 12 -防损部经理绩效考核表1.xlsx

    12 -防损部经理绩效考核表1

Global site tag (gtag.js) - Google Analytics