`
t77czht
  • 浏览: 3022 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
最近访客 更多访客>>
社区版块
存档分类
最新评论

Lucese循环遍历索引写入数据库

 
阅读更多

package www.sungoal.com;

import java.io.File;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.TermDocs;
import org.apache.lucene.store.FSDirectory;

public class Writer {
   
   
    public static void main(String[] args) {
       
        try {
            String indexPath =args.length<=0?"E:\\index\\SDI2.T_ZAZD_BJ_YW_BJAJXX\\SDI2.T_ZAZD_BJ_YW_BJAJXX_20120322225151334":args[0];
            if(indexPath.equals("")){
                System.out.println("------------索引路径为空-------------");
                return;
            }
            if(args.length==2){
                System.out.println("索引路径:"+args[0]);
                System.out.println("表名:"+args[1]);
            }
            String table = "";
            if(args.length>1){
                table=args[1];
            }else{
                String[]  t = indexPath.split("\\\\");
                String name=t[t.length-2];
                table=name.substring(name.indexOf(".")+1);
            }
           
           
            System.out.println("---------------开始抽取"+table+"表-----------------");
            Map<String, String> map = new BaseDao().getTableInfo(table);
           
            String sql = "insert into "+table+"(";
            int index = 0;
            for (Map.Entry<String, String> field : map.entrySet()) {
                index ++;
                String name = field.getValue();
                if(index == map.size()) {
                    sql += name;
                } else {
                    sql += name + ",";
                }
            }
            sql += ") values(";
           
           
            IndexReader reader = IndexReader.open(FSDirectory.open(new File(indexPath)));
           
            TermDocs termDocs = reader.termDocs();
            int maxDoc = reader.maxDoc();
            System.out.println(maxDoc);
           
            BaseDao dao = new BaseDao();
            List<String> sqls = new ArrayList<String>();

            int  recordNumber = 0;
            while (termDocs.next()) {
               
                recordNumber++;
                //System.out.println(recordNumber);
                int docId = termDocs.doc();
               
                //System.out.println("------------document:"+docId);
               
                //根据当前documentId获取Document
                Document doc = reader.document(docId);
               
                StringBuffer tempSQL = new StringBuffer();
                tempSQL.append(sql);
                int nField = 0;
                for(String field_ch : map.keySet()) {
                    nField ++;
                    String value = null;
                    try {
                        value = doc.get(field_ch);
                    } catch (Exception ex) {

                    }
                    if(value == null) {
                        value = "";
                    }
                    if(nField == map.size()) {
                        tempSQL.append("'" + Molest.randString(value) + "'");
                    } else {
                        tempSQL.append("'" + Molest.randString(value) + "'" + ",");
                    }
                }
                tempSQL.append(")");
                sqls.add(tempSQL.toString());
                //System.out.println(tempSQL.toString());
                if(recordNumber%500==0){
                   
                    System.out.println(" ");
                    System.out.println("拼SQL时间     :"+new java.util.Date());
                    dao.executeBat(sqls,recordNumber,table);
                    sqls=new ArrayList<String>();
                    System.out.println("数据库写入时间:"+new java.util.Date());
                }
            }
            if(sqls.size()>0){
                dao.executeBat(sqls,recordNumber,table);
                sqls=new ArrayList<String>();
            }
            System.out.println("-------------"+table+"表抽取完毕,共"+maxDoc+"条,抽取了"+recordNumber+"条--------------");
            reader.close();
        } catch (Exception ex) {
            ex.printStackTrace();
        }

    }
   
   

}

分享到:
评论

相关推荐

    SQLserver遍历所有表数据库命令

    SQL Server 遍历所有表数据库命令详解 在本文中,我们将详细介绍 SQL Server 遍历所有表数据库命令的实现方法和原理。本文将分为三个部分,分别介绍 SQL Server 的系统表和视图、游标的使用和存储过程的应用。 ...

    Kettle循环遍历结果集作为参数传入转换.zip

    本主题聚焦于如何在Kettle中使用循环遍历结果集,并将这些结果作为参数传递到不同的转换中。在"Kettle循环遍历结果集作为参数传入转换.zip"的示例中,我们将探讨这个具体的操作流程和相关知识点。 首先,我们需要...

    循环写入数据库例子

    循环写入数据库是一种常见的编程任务,特别是在处理大量数据时。在这个例子中,我们使用了编程软件LABVIEW来实现这一功能。LABVIEW是一款由美国国家仪器(National Instruments)公司开发的图形化编程环境,它以其...

    易语言循环遍历

    易语言中,我们可以使用索引来遍历数组。例如,对于一个整数数组,可以这样写: ```易语言 .For i, 0, 数组长度 - 1 输出(数组[i]) .EndFor ``` 这段代码将依次输出数组中的所有元素。 4. **列表遍历(枚举...

    layuiAdmin循环遍历展示商品图片列表的方法

    这个函数遍历一个对象或数组,每次遍历都提供当前项(item)和索引(index),在遍历过程中对每个商品对象进行处理。 在LayuiAdmin中,动态生成的HTML结构通常是这样的: ```html &lt;!-- 商品列表项 --&gt; ;" rel...

    循环遍历dataset

    在本篇文章中,我们将深入探讨如何通过循环遍历DataSet中的数据表、行和列,并针对特定条件进行数据处理。此段代码示例虽然存在一些逻辑上的问题(例如语法错误和逻辑不清晰的地方),但可以作为基础来理解如何遍历...

    Kettle循环遍历结果集作为参数传入转换

    在这个场景下,我们讨论的是如何在Kettle8.2中实现一个特定的操作,即“Kettle循环遍历结果集作为参数传入转换”。 首先,我们需要理解Kettle中的“结果集”这一概念。在数据库查询中,结果集是执行SQL语句后返回的...

    浅析vue中常见循环遍历指令的使用 v-for

    vue中循环遍历使用的指令是v-for 1.v-for遍历数组 (1)value in arr 遍历数组中的元素 (2)(value,index) in arr 遍历数组中的元素和数组下标 运行代码: &lt;body&gt; &lt;li v-for=value&gt;{{value}}&lt;/li&gt;&lt;br&gt;  ...

    C#数组遍历

    - 避免越界:在遍历过程中确保索引不会超出数组长度,否则会导致`IndexOutOfRangeException`异常。 - 修改数组:在foreach循环中,如果尝试修改数组元素,可能会导致编译错误,因为foreach循环不支持在迭代过程中...

    循环遍历文件夹和文件

    循环遍历文件夹和文件并加入listview控件中

    易语言源码易语言循环遍历源码.rar

    易语言源码易语言循环遍历源码.rar 易语言源码易语言循环遍历源码.rar 易语言源码易语言循环遍历源码.rar 易语言源码易语言循环遍历源码.rar 易语言源码易语言循环遍历源码.rar 易语言源码易语言循环遍历源码....

    JAVAeasypoi根据Excel模板导出 循环遍历合并单元格处理

    【JAVA】easypoi根据Excel模板导出 循环遍历合并单元格处理

    易语言循环遍历源码.rar

    在易语言中,循环遍历是编程过程中常见的操作,用于重复执行某段代码,直到满足特定条件为止。这在处理数组、列表或进行重复任务时尤为常见。 循环遍历主要有以下几种类型: 1. **for...to...循环**:这是最基础的...

    Json 循环遍历解析示例代码

    android下 把json字符串解析成Hasmap格式数据

    在数据库中遍历查找某个字符串

    在数据库(所有字符串字段)中遍历查找(海查)某个字符串。

    Kettle循环遍历结果集.zip

    在Kettle中,"循环遍历结果集"是一项核心功能,它允许用户在Job或Transformation中处理数据库查询返回的结果,并进行迭代操作。本示例中的"Kettle循环遍历结果集.zip"是一个针对Kettle8.2版本设计的实战案例,展示了...

    for循环简单操作 数字的遍历

    下面将详细阐述`for`循环的工作原理、使用场景以及如何进行数字遍历。 ### 1. `for`循环结构 `for`循环的基本语法如下: ```javascript for (初始化; 条件表达式; 更新) { // 循环体 } ``` - **初始化**:在...

    WPF中控件的循环遍历

    WPF中控件的循环遍历,批量赋值。代码包含遍历函数,以及我使用的一个CLASS。

    foreach.js低版本IE数组和HTMLCollection元素集合不兼容forEach循环遍历的处理方法

    低版本IE数组和HTMLCollection元素集合不兼容forEach循环遍历的处理方法 原生JavaScript通过name获取dom元素得到的是 HTMLCollection元素集合 要想循环遍历可以用forEach,但是在低于ie9的版本下不兼容 var list...

    python中将字典形式的数据循环插入Excel

    此list是在数据库中存在的 2.我们把这些样式的字点数据做一次数据转换 把list转换成字典的形式(看下图代码) # -*- coding: utf-8 -*- import pymysql import json import re from xlsxwriter import Workbook ...

Global site tag (gtag.js) - Google Analytics