`

hadoop+lucene+web 综合小demo

阅读更多

很长一段时间没有关注hadoop,突然间有兴致,于是动手又研究一下

准备的基础如下:

下载hadoop-1.0.4,tomcat,lucene由于关于hadoop的基础资料也挺多的,所以这里只写一段关于hadoop+lucene+web小综合的demo设计思路, 希望对初学入门者有所启示,如下图:

hadoop+lucene+servlet+jsp整合

 

本例子会引用最初hadoop提供的wordcount例子,具体的代码可以通过网上得到,然后运行.

workcount输入文件名称inputfile.txt 包含内容:

Hello World Bye World goole

workcount输出的文件名称part-00000 ,包含内容:

Bye 1
Hello 1
World 2
goole 1

假设:在生成part-00000 文件之后,马上调用lucene创建索引文件

创建索引文件的java代码如下:

 // @author minn

IndexWriter writer = new IndexWriter(PRE_PATH+ "index",new SimpleAnalyzer(),true);
			FileReader read = new FileReader(PRE_PATH+"part-00000");
			BufferedReader br = new BufferedReader(read);
			String row;
			Document document =null;
		    while((row = br.readLine())!=null){
				String tmp[]=row.split("\\s+");
				document=new Document();
		    	document.add(new Field("name",tmp[0],Field.Store.YES,Field.Index.TOKENIZED));
		    	document.add(new Field("count",tmp[1],Field.Store.YES,Field.Index.TOKENIZED));
				writer.addDocument(document);
			   }
			writer.optimize();
			writer.close();

 

查找java代码:

/**
 * 
 * @author minn
 *
 */
public static String searchWord(String word) throws Exception {
		Analyzer analyzer = new StandardAnalyzer();
		String result = "";
		IndexSearcher indexSearcher = null;

		indexSearcher = new IndexSearcher(PRE_PATH + "index");

		QueryParser queryParser = new QueryParser("name", analyzer);
		Query query = null;

		query = queryParser.parse(word);

		if (null != query && null != indexSearcher) {
			Hits hits = indexSearcher.search(query);

			result = hits.doc(0).get("count");

		}
		return result;
	}

 

servlet调用lucene查找:

package servlet;

import java.io.IOException;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import lucene.SearchHadoopFile;



/**
 * Servlet implementation class HadoopServlet
 * @author minn
 */
public class HadoopServlet extends HttpServlet {
	private static final long serialVersionUID = 1L;
       

    /**
     * @see HttpServlet#HttpServlet()
     */
    public HadoopServlet() {
        super();
        // TODO Auto-generated constructor stub
    }

	/**
	 * @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response)
	 */
	protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
		// TODO Auto-generated method stub
		doPost(request,response);
	}

	/**
	 * @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response)
	 */
	protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
		// TODO Auto-generated method stubintl
		
	 
		String result="";
		PrintWriter out=response.getWriter();
		try {
			 result= SearchHadoopFile.searchWord(request.getParameter("word"));
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		out.write(result);
		
		out.flush();
		out.close();
	}

}

 

web页面:

写道
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>hadoop lucene test</title>
<script type="text/javascript" src="js/jquery-1.7.1.min.js"></script>
<script type="text/javascript">

function queryWord(){
var word=$('#searchWord_id').val();
$.ajax({
type: "POST",
url: "hServlet",
data: { word: word }
}).done(function( msg ) {
$('#count_id').text('结果:'+msg);
});
}
</script>
</head>
<body>
<div>关键字:Hello,World bye,google</div>
查找字段:<input id="searchWord_id" type="text"><input type="button" onclick="queryWord()" value="查找">
<div id="count_id"></div>
</body>
</html>

 

效果界面如下:

新增对这一方案的部分实现:多语言版基础管理系统展示[es6版]-简单整合spring+lucene+hadoop 

 

 

  • 大小: 42.6 KB
  • 大小: 8.4 KB
分享到:
评论
5 楼 minn84 2014-06-20  
demo的思路很简单,主要是两点:
1.hadoop负责处理数据
2.web应用负责展示数据
4 楼 wen262856298 2014-06-03  
重点没有晒啊
3 楼 di1984HIT 2014-05-22  
哪有分布式的啊。晕了。
2 楼 minn84 2014-03-22  
nurenok 写道
是不是利用HDFS

hadoop里面其中就有个概念 hdfs
1 楼 nurenok 2014-03-11  
是不是利用HDFS

相关推荐

    计算机发展与计算机应用概述.pdf

    计算机发展与计算机应用概述.pdf

    计算机二级公共基础知识全集合.pdf

    计算机二级公共基础知识全集合.pdf

    计算机机试答案.pdf

    计算机机试答案.pdf

    基于STM32F103的750W全桥逆变器并离网设计方案及其实现

    内容概要:本文详细介绍了基于STM32F103RCT6的750W全桥逆变器设计方案,涵盖硬件电路设计、软件编程以及保护机制等方面。硬件部分包括主控芯片的选择、PWM配置、Boost升压电路、PCB布局优化等;软件部分涉及并离网切换的状态机设计、过流保护、风扇控制算法、并机功能实现等。文中还分享了许多实战经验和调试技巧,如死区时间配置、电流采样方法、并网同步算法等。 适合人群:具有一定电子电路和嵌入式开发基础的技术人员,尤其是从事逆变器及相关电力电子产品开发的工程师。 使用场景及目标:适用于希望深入了解逆变器工作原理和技术实现的开发者,特别是那些需要掌握并离网切换、高效电源管理及可靠保护机制的人群。目标是帮助读者构建一个稳定可靠的逆变器系统,能够应对各种复杂的工作环境。 其他说明:本文不仅提供了详细的理论讲解,还有丰富的代码片段和实践经验分享,有助于读者更好地理解和应用相关技术。

    基于Simulink的单相全桥逆变器仿真与优化:MATLAB环境下的详细实现

    内容概要:本文详细介绍了如何利用Simulink在MATLAB环境中搭建单相全桥逆变器的仿真模型。首先,通过构建H桥结构,连接直流电源和RL负载,并引入PWM控制器进行开关管的控制。接着,针对仿真过程中遇到的各种问题,如谐波失真、开关管直通等问题,提出了具体的解决方案,包括加入LC滤波器、设置死区时间和优化PWM参数等。此外,还探讨了通过MATLAB脚本自动化测试不同参数组合的方法,以及如何提高电压利用率和降低谐波失真。最终,通过对仿真结果的分析,验证了所提方法的有效性和优越性。 适合人群:电力电子工程师、科研人员、高校学生等对逆变器仿真感兴趣的群体。 使用场景及目标:适用于研究和开发高效、稳定的逆变器系统,旨在通过仿真手段减少实验成本,优化设计方案,提高系统的性能指标。 其他说明:文中提供了详细的建模步骤和技术细节,帮助读者更好地理解和掌握相关技术和方法。同时,强调了仿真参数的选择和优化对于获得理想仿真结果的重要性。

    计算机红外通信.pdf

    计算机红外通信.pdf

    软考考试学习必备资料.md

    软考考试学习必备资料.md

    基于cornerstonejs开发移动端

    基于cornerstonejs开发移动端

    JavaScript网页设计高级案例:构建交互式图片画廊#JavaScript

    构建交互式图片画廊

    在学习Wpf的过程中,手搓了一个2048

    源码

    Bosch Rexroth IndraWorks Ds IndraWorks Ds 14V16.310.0

    Bosch Rexroth IndraWorks Ds IndraWorks Ds 14V16.310.0

    java面向对象 - 类与对象

    java面向对象 - 类与对象

    电机控制领域无感FOC算法的AT32平台实现及其鲁棒性优化

    内容概要:本文详细介绍了基于AT32平台的无感FOC(Field-Oriented Control)控制算法,特别是针对永磁同步电机(PMSM)和无刷直流电机(BLDC)的位置速度观测器实现。文章首先展示了启动策略的独特之处,即跳过传统前馈强拖阶段,直接利用矢量控制环和观测器协同启动。接着深入探讨了磁链观测器的核心算法,包括磁链积分、反正切求角度以及速度估算部分使用的改良版PLL。此外,文中还提到了容差配置模块,用于提高系统的鲁棒性和稳定性。最后,强调了模块间良好的解耦设计,使得各功能模块拥有明确的输入输出接口,增强了代码的可维护性和移植性。 适合人群:从事电机控制系统开发的技术人员,尤其是对无感FOC算法感兴趣的工程师。 使用场景及目标:适用于需要高精度、快速响应的电机控制系统开发项目,旨在提升系统的鲁棒性和稳定性,特别是在电机参数存在偏差的情况下依然能够保持良好性能。 其他说明:文章不仅提供了详细的代码实现,还分享了许多实用的经验和技术细节,如启动策略、磁链观测器的物理本质、速度估算方法等,有助于读者更好地理解和应用无感FOC算法。

    计算机机房de设置与维护.pdf

    计算机机房de设置与维护.pdf

    《Java 面试进阶指北 》 质量很高,专为面试打造

    《Java 面试进阶指北 》 质量很高,专为面试打造

    外转子开关磁阻电机多目标优化的NSGA-II算法实现与Matlab代码解析

    内容概要:本文详细介绍了外转子开关磁阻电机(ER-SRM)的多目标优化方法,主要采用NSGA-II算法进行优化。文章首先解释了为什么ER-SRM比传统内转子电机更难以优化,接着展示了如何利用NSGA-II算法解决这一难题。文中提供了详细的Matlab代码,包括种群初始化、交叉变异操作、非支配排序以及目标函数的定义。此外,还讨论了优化过程中的一些注意事项,如初始种群多样性的保持、交叉变异参数的选择、目标函数的设计等。最后,通过具体的案例和图表展示了优化结果及其应用价值。 适合人群:从事电机设计与优化的研究人员和技术人员,尤其是对外转子开关磁阻电机感兴趣的读者。 使用场景及目标:适用于需要同时优化电机效率、转矩波动和制造成本等多种目标的情况。通过NSGA-II算法,可以在多个相互冲突的目标间找到最佳平衡点,从而提高电机的整体性能。 其他说明:文章不仅提供了完整的Matlab代码实现,还分享了许多实践经验,如参数设置的经验公式、常见错误及解决方案等。这对于理解和掌握NSGA-II算法的实际应用非常有帮助。

    "慢行智远"是一款专业的串口数据采集与波形分析软件 软件支持多通道波形显示、数据记录、协议解析等功能,界面友好,操作简便,是您进行串口通信与数据分析的得力助手

    慢行智远V2.0"是一款专业的串口数据采集与信号分析软件,集成了多通道数据采集、实时波形显示、FFT频谱分析、FIR滤波处理等高级功能。软件提供直观的用户界面,支持亮色/暗色两种主题,具备强大的数据处理与可视化能力。核心功能包括: 全面的串口通信支持(多种波特率、数据位、停止位、校验位配置) 多通道(最多4通道)波形实时显示与分析 高级信号处理(FFT频谱分析、FIR滤波、信号平滑等) 智能数据管理(断行数据处理、大数据量优化) 数据记录与导出(文本、CSV、图像多种格式) 自适应界面设计(支持高DPI显示、暗色主题) 适用人群 嵌入式开发工程师:需要通过串口调试单片机、开发板等嵌入式设备 电子工程师:进行电路测试、信号采集与分析的专业人员 工业自动化技术人员:监测工业设备数据、进行状态分析 科研教育工作者:用于实验数据采集、科学研究与教学演示 医疗设备开发人员:分析生物电信号、开发医疗监测设备 物联网开发者:调试传感器网络、分析传感器数据 硬件测试工程师:进行产品质量检测、性能评估 使用场景及目标 研发调试场景 单片机开发:实时监控传感器数据、调试通信协议、观察系统运行状态等等

    计算机基础- 图.pdf

    计算机基础- 图.pdf

    基于MATLAB和YALMIP的孤岛微电网MILP调度优化:最小化甩负荷与发电浪费

    内容概要:本文详细介绍了如何利用MATLAB和YALMIP工具箱构建并优化孤岛微电网的混合整数线性规划(MILP)调度模型。主要内容涵盖模型搭建的关键步骤,如定义决策变量、设置约束条件(尤其是电池充放电互斥约束)、处理光伏出力预测、设定目标函数以及选择求解器参数。文中强调了模型的实际应用场景,即在光伏板发电、电池储能和用户用电之间寻找最佳平衡,确保最小化甩负荷和发电浪费。此外,作者分享了一些实用技巧,如通过调整甩负荷惩罚系数α来优化调度策略,以及如何有效配置GUROBI求解器以缩短计算时间。 适合人群:从事电力系统优化、微电网调度研究的专业人士,以及对混合整数线性规划感兴趣的科研人员和技术开发者。 使用场景及目标:适用于需要精确控制发电、储电和用电的孤岛微电网系统。目标是在满足用户电力需求的同时,最大化利用可再生能源,减少化石燃料消耗,并延长电池使用寿命。 其他说明:文中提供了大量MATLAB代码片段,帮助读者更好地理解和实现具体的建模方法。同时,作者还提到了一些常见的陷阱和优化建议,有助于提高模型性能和求解效率。

    2025大模型时代的新能源汽车自动驾驶发展趋势.pdf

    2025大模型时代的新能源汽车自动驾驶发展趋势

Global site tag (gtag.js) - Google Analytics