`
wuhoujian322
  • 浏览: 66968 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

ElasticSerach初探第一篇 - 认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES

阅读更多

一、认识ElasticSearch

是一个基于Lucene的开源搜索引擎,通过简单的RESTful API来隐藏Lucene的复杂性。全文搜索,分析系统,分布式数据库;elasticsearch的革命性就在于将这些单一的有用的技术整合成一个一体化的”实时的应用”。

 

二、ElasticSearch环境搭建

1.安装ElasticSearch

从官网下载,https://www.elastic.co/downloads/elasticsearch,选择自己想要的版本下载到本地,然后解压;

 

2.安装Kibana

从官网下载,https://www.elastic.co/downloads/kibana,这里选择和ElasticSearch一样的版本,然后解压。

Kibana是一个为 ElasticSearch 提供数据分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。

 

3.安装X-pack

是ElasticSearch的一个扩展包,包括安全、警告、监视、图形、报告等功能集成在一个软件包,方便我们操作ElasticSearch。

到ElasticSearch目录,执行./bin/elasticsearch-plugin install x-pack;到Kibana目录,执行./bin/kibana-plugin install x-pack。

 

4.启动ElasticSearch和Kibana+访问

启动ElasticSearch:ES目录执行./bin/elasticsearch;

启动Kibana:Kibana目录执行./bin/kibana

 

访问Kibana:http://localhost:5601/



 

 

特别注意:登录的默认用户名和密码分别是:elastic和changeme 。

 

三、MySQL数据同步到ElasticSearch

自己在网上找了很多资料,最后选择采用logstash-input-jdbc的方式进行MySQL数据到ES的同步,已经做了一个初步的尝试,感觉还不错。现在仅仅尝试了一次同步一个表的数据,批量数据同步还需要研究。下面是我们进行数据同步的一些步骤:

 

步骤一:安装Ruby

因为logstash-input-jdbc是logstash的一个插件,使用ruby开发。自己本地是在MacOS上,安装方式:ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)";

 

步骤二:安装logstash-input-jdbc

首先从官网下载logstash:https://www.elastic.co/downloads/logstash,解压之后进入本地的logstash目录,到bin目录下面执行命令:./logstash-plugin install logstash-input-jdbc,安装的过程需要花费一点时间,静待一会儿,耐心等待,直到出现Installation successful。

 

步骤三:使用logstash-input-jdbc

进入本地的logstash/bin目录,创建mysql目录,并添加jdbc.confjdbc.sql两个文件,并且加入mysql驱动。下面贴出jdbc.conf和jdbc.sql文件的内容,这里实现了同步MySQL中一个表的数据到ES。

 

jdbc.conf文件内容如下:

input {  

    stdin {

    }  

 

    jdbc {  

      # mysql 数据库链接,test为数据库名  

      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"  

      # 登录mysql数据库用户名和密码  

      jdbc_user => "root"  

      jdbc_password => "root"  

      # 驱动  

      jdbc_driver_library => "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/mysql-connector-java-5.1.38.jar"  

      # 驱动类名  

      jdbc_driver_class => "com.mysql.jdbc.Driver"  

      jdbc_paging_enabled => "true"  

      jdbc_page_size => "50000"  

      # 执行的sql 文件路径+名称  

      statement_filepath => "/Users/wuhoujian/Documents/myself/learning/elasticsearch/logstash-5.5.1/bin/mysql/jdbc.sql"  

      # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新  

      #schedule => "* * * * *"  

      # 索引类型  

      type => "pattern"  

    }  

}  

  

filter {  

    json {  

        source => "pattern" 

    }  

}  

  

output {  

    elasticsearch {  

        # ES的IP地址及端口  

        hosts => ["localhost:9200"]  

        # 索引名称  

        index => "test"  

        # 自增ID 需要关联的数据库中有有一个id字段,对应索引的id号  

        document_id => "%{id}"  

    }  

    stdout {  

       # JSON格式输出  

        codec => json_lines  

    }  

 

}

 

jdbc.sql文件内容如下:

select * from 要同步的MySQL数据库中的表名

 

bin目录下执行命令:./logstash -f  ./mysql/jdbc.conf

 

四、Java HTTP REST API访问ElasticSearch

Java访问ES的两种方式:第一种——通过TransportClient访问;第二种——通过Jest访问。我们采用Jest(一个封装了对ES各种操作的轻量的框架)。

 

步骤一:pom.xml中添加相关依赖

<dependency>

    <groupId>io.searchbox</groupId>

    <artifactId>jest</artifactId>

    <version>5.3.3</version>

</dependency>

 

<dependency>

<groupId>org.elasticsearch</groupId>

<artifactId>elasticsearch</artifactId>

<version>5.5.1.0</version>

</dependency>

 

<dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpcore</artifactId>

<version>4.4.7</version>

</dependency>

 

<dependency>

<groupId>org.apache.httpcomponents</groupId>

<artifactId>httpclient</artifactId>

<version>4.5.3</version>

</dependency>

 

<dependency>

<groupId>commons-logging</groupId>

<artifactId>commons-logging</artifactId>

<version>1.1.1</version>

 

</dependency>

 

步骤二:准备工具类,封装各种Jest操作ES的方法

 package com.jhzz.jizhitong.common.util;

 

import java.util.List;

 

import com.google.gson.GsonBuilder;

 

import io.searchbox.client.JestClient;

import io.searchbox.client.JestClientFactory;

import io.searchbox.client.JestResult;

import io.searchbox.client.config.HttpClientConfig;

import io.searchbox.core.Bulk;

import io.searchbox.core.BulkResult;

import io.searchbox.core.Count;

import io.searchbox.core.CountResult;

import io.searchbox.core.Delete;

import io.searchbox.core.DocumentResult;

import io.searchbox.core.Get;

import io.searchbox.core.Index;

import io.searchbox.core.Search;

import io.searchbox.core.SearchResult;

import io.searchbox.indices.CreateIndex;

import io.searchbox.indices.DeleteIndex;

import io.searchbox.indices.mapping.GetMapping;

import io.searchbox.indices.mapping.PutMapping;

 

/**

 * Jest操作ES工具类

 * 

 * @author wuhoujian

 *

 */

public class JestUtil {

/**

* 获取JestClient对象

* @return

*/

public static JestClient getJestClient() {

 

JestClientFactory factory = new JestClientFactory();

factory.setHttpClientConfig(new HttpClientConfig.Builder("http://127.0.0.1:9200")

.gson(new GsonBuilder().setDateFormat("yyyy-MM-dd'T'hh:mm:ss").create()).connTimeout(1500)

.readTimeout(3000).multiThreaded(true).build());

return factory.getObject();

}

 

/**

* 创建索引

* @param jestClient

* @param indexName

* @return

* @throws Exception

*/

public boolean createIndex(JestClient jestClient, String indexName) throws Exception {

 

JestResult jr = jestClient.execute(new CreateIndex.Builder(indexName).build());

return jr.isSucceeded();

}

 

/**

* Put映射

* @param jestClient

* @param indexName

* @param typeName

* @param source

* @return

* @throws Exception

*/

public boolean createIndexMapping(JestClient jestClient, String indexName, String typeName, String source)

throws Exception {

 

PutMapping putMapping = new PutMapping.Builder(indexName, typeName, source).build();

JestResult jr = jestClient.execute(putMapping);

return jr.isSucceeded();

}

 

/**

* Get映射

* @param jestClient

* @param indexName

* @param typeName

* @return

* @throws Exception

*/

public String getIndexMapping(JestClient jestClient, String indexName, String typeName) throws Exception {

 

GetMapping getMapping = new GetMapping.Builder().addIndex(indexName).addType(typeName).build();

JestResult jr = jestClient.execute(getMapping);

return jr.getJsonString();

}

 

/**

* 索引文档

* @param jestClient

* @param indexName

* @param typeName

* @param objs

* @return

* @throws Exception

*/

public boolean index(JestClient jestClient, String indexName, String typeName, List<Object> objs) throws Exception {

 

Bulk.Builder bulk = new Bulk.Builder().defaultIndex(indexName).defaultType(typeName);

for (Object obj : objs) {

Index index = new Index.Builder(obj).build();

bulk.addAction(index);

}

BulkResult br = jestClient.execute(bulk.build());

return br.isSucceeded();

}

 

/**

* 搜索文档

* @param jestClient

* @param indexName

* @param typeName

* @param query

* @return

* @throws Exception

*/

public SearchResult search(JestClient jestClient, String indexName, String typeName, String query)

throws Exception {

 

Search search = new Search.Builder(query).addIndex(indexName).addType(typeName).build();

return jestClient.execute(search);

}

 

/**

* Count文档

* @param jestClient

* @param indexName

* @param typeName

* @param query

* @return

* @throws Exception

*/

public Double count(JestClient jestClient, String indexName, String typeName, String query) throws Exception {

 

Count count = new Count.Builder().addIndex(indexName).addType(typeName).query(query).build();

CountResult results = jestClient.execute(count);

return results.getCount();

}

 

/**

* Get文档

* @param jestClient

* @param indexName

* @param typeName

* @param id

* @return

* @throws Exception

*/

public static JestResult get(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

 

Get get = new Get.Builder(indexName, id).type(typeName).build();

return jestClient.execute(get);

}

 

/**

* Delete索引

* @param jestClient

* @param indexName

* @return

* @throws Exception

*/

public boolean delete(JestClient jestClient, String indexName) throws Exception {

 

JestResult jr = jestClient.execute(new DeleteIndex.Builder(indexName).build());

return jr.isSucceeded();

}

 

/**

* Delete文档

* @param jestClient

* @param indexName

* @param typeName

* @param id

* @return

* @throws Exception

*/

public boolean delete(JestClient jestClient, String indexName, String typeName, String id) throws Exception {

 

DocumentResult dr = jestClient.execute(new Delete.Builder(id).index(indexName).type(typeName).build());

return dr.isSucceeded();

}

}

 

 

步骤三:编码访问ES

JestResult jestResult = JestUtil.get(JestUtil.getJestClient(), "jizhitong", "pattern", "5");

 

System.out.println(jestResult.getSourceAsString());

  • 大小: 74 KB
分享到:
评论

相关推荐

    高比例可再生能源电力系统的调峰成本量化与分摊模型——基于Matlab、Yalmip和Cplex的优化研究

    内容概要:本文探讨了高比例可再生能源接入对电力系统调峰能力的影响,提出了一种基于净负荷波动的调峰成本量化与分摊模型。首先,通过将负荷和可再生能源出力曲线转换为无波动的均值线,构建了无调峰需求的替代场景。接着,建立了含深度调峰和抽水蓄能的调度优化模型,用于计算不同场景下的调峰成本。通过比较有无调峰需求两种场景下的系统调峰成本,确定了单一主体导致的边际调峰成本,并采用Shapley值方法合理分摊调峰成本。研究表明,该模型可以有效反映各主体的调峰成本或贡献,有助于促进可再生能源的消纳和电力系统的稳定运行。 适合人群:从事电力系统规划、运营管理和可再生能源研究的专业人士,以及关注能源政策和技术发展的研究人员。 使用场景及目标:适用于评估和优化高比例可再生能源接入条件下的电力系统调峰成本,旨在提高电力系统的灵活性和经济性,同时促进可再生能源的有效利用。 其他说明:该模型需要根据实际情况进行调整和优化,以适应不同地区的电力市场特点和技术水平。

    ABB机器人与博图V16 Profinet通讯及外部启动配置详解

    内容概要:本文详细介绍了如何使用博图V16进行ABB机器人的外部启动及其与西门子设备的Profinet通讯配置。首先概述了ABB机器人和博图V16的基本概念,接着深入讲解了外部启动的重要性和实现方式,重点介绍了FB功能块的应用,以及Profinet通讯的具体配置步骤。文中还强调了GSD文件的作用,用于描述机器人的属性和行为,最后讨论了硬件配置的要求和注意事项,特别是对dsqc1030或dsqc652板卡的支持和888-2或888-3选项的需求。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是那些负责机器人集成和编程的专业人士。 使用场景及目标:适用于需要将ABB机器人与西门子设备通过Profinet网络进行通讯并实现外部启动的项目。目标是提高自动化生产线的灵活性和效率,确保机器人和PLC之间的无缝协作。 其他说明:本文不仅提供了理论指导,还包含了实际操作中的关键细节,有助于读者快速掌握相关技能并在实践中应用。

    scratch少儿编程逻辑思维游戏源码-3D环境.zip

    scratch少儿编程逻辑思维游戏源码-3D环境.zip

    少儿编程scratch项目源代码文件案例素材-泼溅猫.zip

    少儿编程scratch项目源代码文件案例素材-泼溅猫.zip

    新能源领域基于EMD-ARMA的风光出力预测方法及其应用

    内容概要:本文介绍了基于EMD-ARMA的组合风光出力预测方法,详细阐述了经验模态分解(EMD)和自回归移动平均(ARMA)模型的应用步骤。首先,通过EMD将原始发电数据分解为多个本征模态函数(IMF),然后用ARMA模型对各IMF分量进行建模和预测,最后将预测结果叠加重构,获得最终的风光功率预测值。文中还提供了简化的Python代码示例,帮助读者理解和实现该方法。 适合人群:从事新能源研究和技术开发的专业人士,尤其是对风光发电预测感兴趣的科研人员和工程师。 使用场景及目标:适用于需要提高风光发电预测精度的项目,旨在通过先进的数学模型优化电力调度和资源配置。 其他说明:本文提供的代码示例仅用于教学目的,实际应用中需根据具体情况调整和完善。此外,建议在实践中参考更多专业文献和寻求专家意见以确保预测模型的准确性和可靠性。

    scratch少儿编程逻辑思维游戏源码-scratch RPG 战斗.zip

    scratch少儿编程逻辑思维游戏源码-scratch RPG 战斗.zip

    scratch少儿编程逻辑思维游戏源码-窗户冒险.zip

    scratch少儿编程逻辑思维游戏源码-窗户冒险.zip

    scratch少儿编程逻辑思维游戏源码-FC经典游戏 沙罗曼蛇.zip

    scratch少儿编程逻辑思维游戏源码-FC经典游戏 沙罗曼蛇.zip

    少儿编程scratch项目源代码文件案例素材-跑酷版《我的世界》.zip

    少儿编程scratch项目源代码文件案例素材-跑酷版《我的世界》.zip

    scratch少儿编程逻辑思维游戏源码-抜刀.zip

    scratch少儿编程逻辑思维游戏源码-抜刀.zip

    永磁同步电机无传感器控制:基于反电动势估计的扰动观测器设计与应用

    内容概要:本文介绍了永磁同步电机(PMSM)无位置传感器控制的一种创新方法,重点探讨了通过反电动势估计和扰动观测器增益设计来实现转子位置的精确估算。该方法避免了传统的PLL等位置观测器,仅需一次反正切计算即可获得转子位置,极大简化了系统复杂度。此外,模型控制器采用离散域设计,便于参数调整和适应不同电机参数。文中还提供了具体的Python代码示例,展示了从初始化电机参数到主循环控制的具体实现步骤。 适合人群:从事电机控制系统设计的研究人员和技术工程师,尤其是关注永磁同步电机无传感器控制领域的专业人士。 使用场景及目标:适用于需要简化调试流程、提高系统灵活性和适应多种电机参数的应用场景。主要目标是在保持高性能的同时降低硬件成本和系统复杂性。 其他说明:该方法不仅简化了调试过程,还提高了系统的鲁棒性和可靠性,特别适合于工业自动化、机器人技术和电动汽车等领域。

    汽车制动系统中双腔制动主缸的精细化建模与Simulink-Amesim联合仿真验证

    内容概要:本文深入探讨了乘用车双腔制动主缸的精细化建模及其在Simulink和Amesim中的联合仿真验证。文章首先介绍了双腔制动主缸的物理结构和动力学方程,特别是考虑了液压特性和机械传动的耦合关系。接着,作者详细描述了如何在Simulink中实现这些模型,并通过S函数处理变步长积分问题,确保仿真精度。此外,还讨论了联合仿真过程中遇到的数据交换频率问题,并提出了使用二阶保持器来补偿相位滞后的解决方案。最终,通过对不同推杆力输入条件下的仿真结果对比,验证了精细化模型的有效性和稳定性。 适合人群:从事汽车制动系统研究的技术人员、高校相关专业师生、对车辆动力学仿真感兴趣的工程师。 使用场景及目标:①帮助研究人员更好地理解和掌握双腔制动主缸的工作原理;②为后续更复杂的整车制动系统仿真提供可靠的子系统模型;③提高仿真精度,减少因模型简化带来的误差。 其他说明:文中提供了详细的建模步骤、公式推导、代码实现以及仿真结果对比,附带完整视频教程和参考资料,便于初学者学习。同时强调了实际应用中需要注意的关键细节,如流量计算、数据交换频率调整等。

    scratch少儿编程逻辑思维游戏源码-Scratch版Windows11.zip

    scratch少儿编程逻辑思维游戏源码-Scratch版Windows11.zip

    少儿编程scratch项目源代码文件案例素材-青蛙.zip

    少儿编程scratch项目源代码文件案例素材-青蛙.zip

    基于Matlab Simulink的光伏交直流混合微电网离网模式双下垂控制仿真模型研究

    内容概要:本文详细介绍了光伏交直流混合微电网在离网(孤岛)模式下的双下垂控制仿真模型。该模型利用Matlab/Simulink工具进行构建和仿真,涵盖了直流微电网、交流微电网以及互联变换器(ILC)的结构和控制策略。直流微电网采用电压电流双闭环下垂控制,交流微电网则通过恒压控制和下垂控制来维持稳定的频率和电压。ILC采用双下垂控制策略,通过归一化处理和偏差调整,使得交流母线频率和直流母线电压趋于一致。此外,模型还包括采样保持、坐标变换、功率滤波、SVPWM等辅助环节,以确保系统的稳定运行和高效能量管理。实验结果显示,在负载突增的情况下,系统依然能够保持良好的波形质量和稳定性。 适合人群:对微电网控制系统感兴趣的科研人员、电力工程技术人员及高校师生。 使用场景及目标:适用于研究和验证光伏交直流混合微电网在离网模式下的控制策略,特别是双下垂控制的应用效果。目标是提升微电网的稳定性和能量管理效率。 其他说明:仿真环境为Matlab2020b及以上版本,部分模块仅支持高版本软件。对于希望深入了解双下垂控制机制的研究者,可以通过进一步的学习和交流获得更多信息。

    基于EKF的INS-GPS松组合导航:15状态NED坐标系下的精准定位技术

    内容概要:本文详细介绍了基于扩展卡尔曼滤波器(EKF)的INS(惯性测量单元)和GPS(全球定位系统)松组合导航技术。首先解释了为何需要松组合导航,即通过融合INS和GPS的优势,提高定位的稳定性和准确性。接着阐述了15状态下的EKF融合方法,涵盖速度、姿态、位置等多个系统动态参数的估计与更新。然后讨论了NED(北东地)坐标系的应用及其带来的直观物理意义。最后提供了简化的Python代码片段,演示了如何在EKF中融合INS和GPS数据,以获得连续、稳定的导航结果。 适合人群:从事导航技术研发的专业人士,尤其是对EKF、INS、GPS以及多传感器数据融合感兴趣的工程师和技术研究人员。 使用场景及目标:适用于需要高精度、高可靠性定位系统的应用场景,如自动驾驶汽车、无人机飞行控制系统等。目标是通过融合INS和GPS数据,克服单一传感器的局限性,提升整个导航系统的性能。 其他说明:文中提供的代码仅为概念验证性质,实际工程应用中还需考虑更多复杂的因素和优化措施。

    三相逆变器孤岛运行的双闭环控制策略及LCL滤波电路仿真实现

    内容概要:本文详细介绍了基于MATLAB Simulink平台的三相逆变器稳压控制仿真模型,重点探讨了孤岛运行环境下的电压电流双闭环控制策略及其LCL滤波电路的应用。首先,通过对主电路电流电压的采样并进行Park和Clark变换,将数据转换为dq坐标系下的电流电压值,然后输入双闭环控制系统进行精确调节。接着,通过反变换回到abc坐标系,并利用PWM调制对逆变器进行控制,最终实现了电压电流的稳定输出。文中还提供了简化的Matlab代码片段,展示了关键步骤的具体实现方法。此外,作者通过多次仿真实验验证了该控制策略的有效性和鲁棒性。 适合人群:从事电力电子、自动化控制领域的研究人员和技术人员,尤其是对逆变器控制策略感兴趣的读者。 使用场景及目标:适用于需要深入了解三相逆变器在孤岛运行环境下的稳压控制机制的研究人员和技术人员。目标是掌握电压电流双闭环控制策略以及LCL滤波电路的设计与应用,提高逆变器系统的稳定性和可靠性。 其他说明:本文不仅提供了理论分析,还包括具体的仿真模型和代码示例,有助于读者更好地理解和实践相关技术。

    少儿编程scratch项目源代码文件案例素材-七龙珠RPG 测试.zip

    少儿编程scratch项目源代码文件案例素材-七龙珠RPG 测试.zip

    scratch少儿编程逻辑思维游戏源码-城市世界.zip

    scratch少儿编程逻辑思维游戏源码-城市世界.zip

    少儿编程scratch项目源代码文件案例素材-黏糊糊的圣诞节.zip

    少儿编程scratch项目源代码文件案例素材-黏糊糊的圣诞节.zip

Global site tag (gtag.js) - Google Analytics