很长一段时间没有关注hadoop,突然间有兴致,于是动手又研究一下
准备的基础如下:
下载hadoop-1.0.4,tomcat,lucene由于关于hadoop的基础资料也挺多的,所以这里只写一段关于hadoop+lucene+web小综合的demo设计思路, 希望对初学入门者有所启示,如下图:
本例子会引用最初hadoop提供的wordcount例子,具体的代码可以通过网上得到,然后运行.
workcount输入文件名称inputfile.txt 包含内容:
Hello World Bye World goole
workcount输出的文件名称part-00000 ,包含内容:
Bye 1
Hello 1
World 2
goole 1
假设:在生成part-00000 文件之后,马上调用lucene创建索引文件
创建索引文件的java代码如下:
// @author minn IndexWriter writer = new IndexWriter(PRE_PATH+ "index",new SimpleAnalyzer(),true); FileReader read = new FileReader(PRE_PATH+"part-00000"); BufferedReader br = new BufferedReader(read); String row; Document document =null; while((row = br.readLine())!=null){ String tmp[]=row.split("\\s+"); document=new Document(); document.add(new Field("name",tmp[0],Field.Store.YES,Field.Index.TOKENIZED)); document.add(new Field("count",tmp[1],Field.Store.YES,Field.Index.TOKENIZED)); writer.addDocument(document); } writer.optimize(); writer.close();
查找java代码:
/** * * @author minn * */ public static String searchWord(String word) throws Exception { Analyzer analyzer = new StandardAnalyzer(); String result = ""; IndexSearcher indexSearcher = null; indexSearcher = new IndexSearcher(PRE_PATH + "index"); QueryParser queryParser = new QueryParser("name", analyzer); Query query = null; query = queryParser.parse(word); if (null != query && null != indexSearcher) { Hits hits = indexSearcher.search(query); result = hits.doc(0).get("count"); } return result; }
servlet调用lucene查找:
package servlet; import java.io.IOException; import java.io.PrintWriter; import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.util.ArrayList; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import lucene.SearchHadoopFile; /** * Servlet implementation class HadoopServlet * @author minn */ public class HadoopServlet extends HttpServlet { private static final long serialVersionUID = 1L; /** * @see HttpServlet#HttpServlet() */ public HadoopServlet() { super(); // TODO Auto-generated constructor stub } /** * @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response) */ protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { // TODO Auto-generated method stub doPost(request,response); } /** * @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response) */ protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { // TODO Auto-generated method stubintl String result=""; PrintWriter out=response.getWriter(); try { result= SearchHadoopFile.searchWord(request.getParameter("word")); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } out.write(result); out.flush(); out.close(); } }
web页面:
写道
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>hadoop lucene test</title>
<script type="text/javascript" src="js/jquery-1.7.1.min.js"></script>
<script type="text/javascript">
function queryWord(){
var word=$('#searchWord_id').val();
$.ajax({
type: "POST",
url: "hServlet",
data: { word: word }
}).done(function( msg ) {
$('#count_id').text('结果:'+msg);
});
}
</script>
</head>
<body>
<div>关键字:Hello,World bye,google</div>
查找字段:<input id="searchWord_id" type="text"><input type="button" onclick="queryWord()" value="查找">
<div id="count_id"></div>
</body>
</html>
pageEncoding="UTF-8"%>
<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>hadoop lucene test</title>
<script type="text/javascript" src="js/jquery-1.7.1.min.js"></script>
<script type="text/javascript">
function queryWord(){
var word=$('#searchWord_id').val();
$.ajax({
type: "POST",
url: "hServlet",
data: { word: word }
}).done(function( msg ) {
$('#count_id').text('结果:'+msg);
});
}
</script>
</head>
<body>
<div>关键字:Hello,World bye,google</div>
查找字段:<input id="searchWord_id" type="text"><input type="button" onclick="queryWord()" value="查找">
<div id="count_id"></div>
</body>
</html>
效果界面如下:
新增对这一方案的部分实现:多语言版基础管理系统展示[es6版]-简单整合spring+lucene+hadoop
相关推荐
计算机发展与计算机应用概述.pdf
计算机二级公共基础知识全集合.pdf
计算机机试答案.pdf
内容概要:本文详细介绍了基于STM32F103RCT6的750W全桥逆变器设计方案,涵盖硬件电路设计、软件编程以及保护机制等方面。硬件部分包括主控芯片的选择、PWM配置、Boost升压电路、PCB布局优化等;软件部分涉及并离网切换的状态机设计、过流保护、风扇控制算法、并机功能实现等。文中还分享了许多实战经验和调试技巧,如死区时间配置、电流采样方法、并网同步算法等。 适合人群:具有一定电子电路和嵌入式开发基础的技术人员,尤其是从事逆变器及相关电力电子产品开发的工程师。 使用场景及目标:适用于希望深入了解逆变器工作原理和技术实现的开发者,特别是那些需要掌握并离网切换、高效电源管理及可靠保护机制的人群。目标是帮助读者构建一个稳定可靠的逆变器系统,能够应对各种复杂的工作环境。 其他说明:本文不仅提供了详细的理论讲解,还有丰富的代码片段和实践经验分享,有助于读者更好地理解和应用相关技术。
内容概要:本文详细介绍了如何利用Simulink在MATLAB环境中搭建单相全桥逆变器的仿真模型。首先,通过构建H桥结构,连接直流电源和RL负载,并引入PWM控制器进行开关管的控制。接着,针对仿真过程中遇到的各种问题,如谐波失真、开关管直通等问题,提出了具体的解决方案,包括加入LC滤波器、设置死区时间和优化PWM参数等。此外,还探讨了通过MATLAB脚本自动化测试不同参数组合的方法,以及如何提高电压利用率和降低谐波失真。最终,通过对仿真结果的分析,验证了所提方法的有效性和优越性。 适合人群:电力电子工程师、科研人员、高校学生等对逆变器仿真感兴趣的群体。 使用场景及目标:适用于研究和开发高效、稳定的逆变器系统,旨在通过仿真手段减少实验成本,优化设计方案,提高系统的性能指标。 其他说明:文中提供了详细的建模步骤和技术细节,帮助读者更好地理解和掌握相关技术和方法。同时,强调了仿真参数的选择和优化对于获得理想仿真结果的重要性。
计算机红外通信.pdf
软考考试学习必备资料.md
基于cornerstonejs开发移动端
构建交互式图片画廊
源码
Bosch Rexroth IndraWorks Ds IndraWorks Ds 14V16.310.0
java面向对象 - 类与对象
内容概要:本文详细介绍了基于AT32平台的无感FOC(Field-Oriented Control)控制算法,特别是针对永磁同步电机(PMSM)和无刷直流电机(BLDC)的位置速度观测器实现。文章首先展示了启动策略的独特之处,即跳过传统前馈强拖阶段,直接利用矢量控制环和观测器协同启动。接着深入探讨了磁链观测器的核心算法,包括磁链积分、反正切求角度以及速度估算部分使用的改良版PLL。此外,文中还提到了容差配置模块,用于提高系统的鲁棒性和稳定性。最后,强调了模块间良好的解耦设计,使得各功能模块拥有明确的输入输出接口,增强了代码的可维护性和移植性。 适合人群:从事电机控制系统开发的技术人员,尤其是对无感FOC算法感兴趣的工程师。 使用场景及目标:适用于需要高精度、快速响应的电机控制系统开发项目,旨在提升系统的鲁棒性和稳定性,特别是在电机参数存在偏差的情况下依然能够保持良好性能。 其他说明:文章不仅提供了详细的代码实现,还分享了许多实用的经验和技术细节,如启动策略、磁链观测器的物理本质、速度估算方法等,有助于读者更好地理解和应用无感FOC算法。
计算机机房de设置与维护.pdf
《Java 面试进阶指北 》 质量很高,专为面试打造
内容概要:本文详细介绍了外转子开关磁阻电机(ER-SRM)的多目标优化方法,主要采用NSGA-II算法进行优化。文章首先解释了为什么ER-SRM比传统内转子电机更难以优化,接着展示了如何利用NSGA-II算法解决这一难题。文中提供了详细的Matlab代码,包括种群初始化、交叉变异操作、非支配排序以及目标函数的定义。此外,还讨论了优化过程中的一些注意事项,如初始种群多样性的保持、交叉变异参数的选择、目标函数的设计等。最后,通过具体的案例和图表展示了优化结果及其应用价值。 适合人群:从事电机设计与优化的研究人员和技术人员,尤其是对外转子开关磁阻电机感兴趣的读者。 使用场景及目标:适用于需要同时优化电机效率、转矩波动和制造成本等多种目标的情况。通过NSGA-II算法,可以在多个相互冲突的目标间找到最佳平衡点,从而提高电机的整体性能。 其他说明:文章不仅提供了完整的Matlab代码实现,还分享了许多实践经验,如参数设置的经验公式、常见错误及解决方案等。这对于理解和掌握NSGA-II算法的实际应用非常有帮助。
慢行智远V2.0"是一款专业的串口数据采集与信号分析软件,集成了多通道数据采集、实时波形显示、FFT频谱分析、FIR滤波处理等高级功能。软件提供直观的用户界面,支持亮色/暗色两种主题,具备强大的数据处理与可视化能力。核心功能包括: 全面的串口通信支持(多种波特率、数据位、停止位、校验位配置) 多通道(最多4通道)波形实时显示与分析 高级信号处理(FFT频谱分析、FIR滤波、信号平滑等) 智能数据管理(断行数据处理、大数据量优化) 数据记录与导出(文本、CSV、图像多种格式) 自适应界面设计(支持高DPI显示、暗色主题) 适用人群 嵌入式开发工程师:需要通过串口调试单片机、开发板等嵌入式设备 电子工程师:进行电路测试、信号采集与分析的专业人员 工业自动化技术人员:监测工业设备数据、进行状态分析 科研教育工作者:用于实验数据采集、科学研究与教学演示 医疗设备开发人员:分析生物电信号、开发医疗监测设备 物联网开发者:调试传感器网络、分析传感器数据 硬件测试工程师:进行产品质量检测、性能评估 使用场景及目标 研发调试场景 单片机开发:实时监控传感器数据、调试通信协议、观察系统运行状态等等
计算机基础- 图.pdf
内容概要:本文详细介绍了如何利用MATLAB和YALMIP工具箱构建并优化孤岛微电网的混合整数线性规划(MILP)调度模型。主要内容涵盖模型搭建的关键步骤,如定义决策变量、设置约束条件(尤其是电池充放电互斥约束)、处理光伏出力预测、设定目标函数以及选择求解器参数。文中强调了模型的实际应用场景,即在光伏板发电、电池储能和用户用电之间寻找最佳平衡,确保最小化甩负荷和发电浪费。此外,作者分享了一些实用技巧,如通过调整甩负荷惩罚系数α来优化调度策略,以及如何有效配置GUROBI求解器以缩短计算时间。 适合人群:从事电力系统优化、微电网调度研究的专业人士,以及对混合整数线性规划感兴趣的科研人员和技术开发者。 使用场景及目标:适用于需要精确控制发电、储电和用电的孤岛微电网系统。目标是在满足用户电力需求的同时,最大化利用可再生能源,减少化石燃料消耗,并延长电池使用寿命。 其他说明:文中提供了大量MATLAB代码片段,帮助读者更好地理解和实现具体的建模方法。同时,作者还提到了一些常见的陷阱和优化建议,有助于提高模型性能和求解效率。
2025大模型时代的新能源汽车自动驾驶发展趋势