Apache NiFi 号称是一个易于使用、功能强大,但中文参考资料不多,本人英语又不好,慢慢摸索吧
简单的理解,NiFi 是以数据流的方式处理业务数据,就像生产线,通过多种途径(如数据库)获得数据后,通过后续多个节点的处理,得到预期的结果,然后进行输出(如持久化到本地、数据库等)。当然还有很多更高级的属性,比如集群、可扩展、可配置等等,这些以后在说吧,反正现在也不懂
NiFi的使用与配置界面是web页面。才开始学习,先见识一下这个东西的界面吧。
我使用的是win7系统,那就先下载window版的安装包,可以下载最新的Releases版本,当前是1.1.2,下载地址
http://mirrors.hust.edu.cn/apache/nifi/1.1.2/nifi-1.1.2-bin.zip,下载完后,解压到随便自定义的一个目录下。
NiFi允许在jvm上,且默认允许在8080端口下。所以要先配置一下java环境变量,我配置的是1.8,配置完成之后,从命令行中进入到刚刚的解压路径下,然后进入到bin目录,执行启动命令 run-nifi.bat,然后可以看到如下输出:
2017-02-22 09:47:52,269 INFO [main] org.apache.nifi.bootstrap.Command Starting Apache NiFi...
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Working Directory: E:\apache\nifi\NIFI-1~1.1
2017-02-22 09:47:52,270 INFO [main] org.apache.nifi.bootstrap.Command Command: E:\java\jdk1.8.0_05\bin\java.exe -clas...
...
如果没有退出,则说明启动成功,没有成功的话,则检查一下启动日志,在log下。
启动成功后,则在浏览器中打开
http://127.0.0.1:8080/nifi/,另外,NiFi对浏览器的版本也是有要求的,具体参考官方网址。打开之后,神秘面纱终于揭开:
挺简介的
。
配置与使用,就是在这里进行了。
NiFi界面中的主要组件是Processor与Controller Service,还有链接这些组件的Relationship与Connection等等,画过流程图的应该都很容易理解,就和那个很类似。FlowFile就是在这个流中的待处理数据,所有其它的组件,都是为了处理这个而存在的。具体参考
https://nifi.apache.org/developer-guide.html
配置方法,可参考
https://nifi.apache.org/docs.html的
Apache NiFi User Guide
- 大小: 56.5 KB
分享到:
相关推荐
在Apache NiFi中,配置超级用户是确保系统安全和管理权限的重要步骤。NiFi是一个强大的数据处理和自动化工具,它支持复杂的数据路由、转换和系统集成。为了保护数据并限制不同用户对系统的访问权限,我们需要为管理...
Nifi是Hortonworks公司推出的一个开源的数据流处理和分布式数据路由工具。它的设计目标是自动化数据流在系统之间的传输。在大数据处理和数仓建设中,Nifi具有非常重要的作用。Nifi提供了易于使用、功能强大且可靠的...
Apache NiFi (nifi-1.19.1-bin.zip、nifi-toolkit-1.19.1-bin.zip)是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。文件使用WinRAR分割两个压缩包,必须一起下载使用: Apache NiFi (nifi-...
Apache NiFi是一款强大的数据处理和自动化工具,常用于ETL(提取、转换、加载)流程,数据同步任务,以及大数据处理。在本篇内容中,我们将深入探讨NiFi中的FileFlow示例和模板的使用,这有助于理解如何构建和管理...
NIFI 用户手册 Apache NiFi 是一个基于流式编程设计的数据流系统,支持强大且可扩展的数据路由、数据转换和系统媒介逻辑。 NiFi 提供了一个基于Web的用户界面,用于设计、控制、反馈和监控数据流。 NiFi 高度可配,...
Apache NiFi 是一款专为实时数据流处理和分发设计的工具,起源于美国国家安全局(NSA),现已成为Apache基金会的顶级项目。NiFi 的核心目标是简化系统间的数据流自动化,提供高度可配置的图形化界面,使得数据路由、...
Nifi 1.7.1 安全集群设置是指在 CentOS 7 环境下,使用 JDK 1.8.0_91、Nifi-1.7.1、Kerberos5、zookeeper3.4.5 和 nifi-toolkit-1.7.1 等软件版本,搭建一个安全的 Nifi 集群。该集群设置解决了现在网络上都是老版本...
Apache Nifi是一个强大的数据处理和数据流管理工具,而Apache Kafka是一个分布式消息中间件,常用于实时数据流处理。在Nifi与Kafka的集成中,Nifi可以作为数据的生产者将数据发送到Kafka,同时也可以作为消费者从...
Apache NiFi是一个强大的数据处理和分发系统,旨在简化和自动化不同系统之间的数据流管理。其核心特性包括直观的浏览器用户界面,用于设计、控制、反馈和监控数据流程;全面的数据源跟踪,确保从源头到目标的完整...
NiFi 是一个强大的数据处理和自动化工具,由Apache软件基金会开发。它专注于数据的路由、控制和增强,常用于构建复杂的数据流系统。本文档旨在为初学者提供NiFi的入门指南,包括单机安装、集群部署以及使用NiFi进行...
### Apache NiFi 使用指南 #### 一、Apache NiFi 概述 Apache NiFi 是一款易于使用、功能强大且可靠的数据获取、数据处理和分发系统。它主要用于自动化管理系统间的数据流,支持高度可配置的指示图数据路由、转换...
### ETL与DataX-Nifi对比分析 #### ETL(Extract, Transform, Load)概念解析 ETL是一种数据处理流程,主要用于将来自不同来源的数据提取出来,经过清洗、转换等预处理步骤,再加载到目标数据库或者数据仓库中。这...
Apache NiFi 概念介绍、源码解析、开发指南(中文) Apache NiFi 是一个开源的数据集成工具,由 Apache 软件基金会维护。NiFi 的核心设计理念是 Flow-Based Programming,它可以将数据从各种 sources 中提取,转换...
2006年NiFi由美国国家安全局(NSA)的Joe Witt创建。2015年7月20日,Apache 基金会宣布Apache NiFi顺利孵化成为Apache的顶级项目之一。NiFi初始的项目名称是Niagarafiles,当NiFi项目开源之后,一些早先在NSA的...
【NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive】 Apache NiFi是一款强大的数据流处理工具,常用于构建复杂的数据集成解决方案。在本场景中,我们将探讨如何使用NiFi来实时监控MySQL数据库的binlog...
Apache NiFi是一个强大的数据处理和自动化工具,常用于ETL(提取、转换、加载)任务,数据同步和大数据处理场景。在Nifi中,`GetFile`和`PutFile`是两个基础但至关重要的处理器,它们负责从源位置读取文件并将其写入...
数据集成工具:Apache Nifi:Nifi脚本处理器与自定义开发.docx
基于nifi将mysql数据导入clickhouse。 给出了基于http与JDBC两种方式
使用大数据处理工具NIFI,进行数据从Postgresql中导入到MySql中,实现数据的同步处理,处理的时候,是带有分页的,因为作者正在做相关的项目,而,用nifi同步数据好说,如何,进行数据的分页同步不好弄,这里,主要是,采用...
Apache NiFi是一个强大的开源数据处理和自动化工具,其设计目标是简化数据的流动,从数据的获取到最终的交付或消费。这个项目由Apache软件基金会维护,为用户提供了一个直观的用户界面来创建、监控和调整数据流。...