`

十二、Attribute

 
阅读更多

Attribute


            TokenStream stream = a.tokenStream("content",new StringReader(str));


            //位置增量的属性,存储语汇单元之间的距离
            PositionIncrementAttribute pia = stream.addAttribute(PositionIncrementAttribute.class);


            //每个语汇单元的位置偏移量
            OffsetAttribute oa = stream.addAttribute(OffsetAttribute.class);


            //存储每一个语汇单元的信息(分词单元信息)
            CharTermAttribute cta = stream.addAttribute(CharTermAttribute.class);


            //使用的分词器的类型信息
            TypeAttribute ta =  stream.addAttribute(TypeAttribute.class);


            for(;stream.incrementToken();) {
                System.out.print(pia.getPositionIncrement()+":");
                System.out.print(cta+"["+oa.startOffset()+"-"+oa.endOffset()+"]-->"+ta.type()+"\n");
            }

 

 

            Analyzer a1 = new StandardAnalyzer(Version.LUCENE_35);
        Analyzer a2 = new StopAnalyzer(Version.LUCENE_35);
        Analyzer a3 = new SimpleAnalyzer(Version.LUCENE_35);
        Analyzer a4 = new WhitespaceAnalyzer(Version.LUCENE_35);
        String txt = "how are you thank you";
       
        AnalyzerUtils.displayAllTokenInfo(txt, a1);
        System.out.println("------------------------------");
        AnalyzerUtils.displayAllTokenInfo(txt, a2);
        System.out.println("------------------------------");
        AnalyzerUtils.displayAllTokenInfo(txt, a3);
        System.out.println("------------------------------");
        AnalyzerUtils.displayAllTokenInfo(txt, a4);


得到的输出结果是:

1:how[0-3]--><ALPHANUM>
2:you[8-11]--><ALPHANUM>
1:thank[12-17]--><ALPHANUM>
1:you[18-21]--><ALPHANUM>
------------------------------
1:how[0-3]-->word
2:you[8-11]-->word
1:thank[12-17]-->word
1:you[18-21]-->word
------------------------------
1:how[0-3]-->word
1:are[4-7]-->word
1:you[8-11]-->word
1:thank[12-17]-->word
1:you[18-21]-->word
------------------------------
1:how[0-3]-->word
1:are[4-7]-->word
1:you[8-11]-->word
1:thank[12-17]-->word
1:you[18-21]-->word

分享到:
评论

相关推荐

    ebs英文单词

    #### 十二、Agreement(协议) **协议(Agreement)**是指与客户签订的合同,它可以作为执行工作的授权基础。在Oracle EBS中,协议不仅可以代表具有法律效力的合同,还可以包含关于发票付款条件的规定,并且可以设定...

    Jquery 1.4 速查手册

    Jquery 1.4提供了丰富的选择器语法,如基本选择器(`*`, `#id`, `element`, `.class`)、层次选择器(`&gt;`, `~`, `+`)、属性选择器(`[attribute]`, `[attribute=val]`, `[attribute|=val]`等)以及可见性选择器(`:hidden`...

    几篇CVPR关于multi-task的整理

    七、 多任务网络中的全自适应特征共享与人物属性分类中的应用Fully-Adaptive Feature Sharing in Multi-Task Networks With Applications in Person Attribute Classification 28 八、 超越triplet loss:一个深层次...

    jquery 1.4 cheatsheet

    #### 十二、选择器 - **选择器传奇** - `obj`—数组对象。 - `1.4+`—新加入1.4版本的功能。 - `1.4*`—1.4版本中有所改变的功能。 #### 十三、数据类型 - **任意类型**:`*` - 代表任何数据类型。 - **...

    XML_Schema 教程 详细版

    #### 十二、XSD带有混合内容的复合类型 混合内容复合类型可以同时包含文本和子元素,使用`&lt;complexType&gt;`的`complexContent`和`mixed`属性来定义。 #### 十三、XSD复合类型指示器 指示器用于控制复合类型的解析...

    LDAP 应用程序接口

    ### LDAP应用程序接口知识点详解 ...#### 十二、作者地址 - LDAPChina.com #### 附录A、简单的LDAP API代码 以上示例代码展示了如何使用LDAP API执行基本的LDAP操作。实际开发中可能还需要根据具体需求调整代码。

    历年考研英语中常见的十五种“逻辑关系词(或称衔接词)”.doc

    * 表示原因:because, be responsible for, as, since, for, therein, root, origin, causality, due, owing, thanks, according to, be attributed, contributed to * 表示结果:so, hence, therefore, therefor, ...

    ios7 UIKit 框架文档

    #### 十二、NSStringUIKitAdditionsReference **概述** 这部分文档主要介绍了如何使用NSString的UIKit扩展方法来处理字符串。 **任务** - 如何获取字符串的长度。 - 如何截取字符串。 **实例方法** - `-(CGSize)...

    考研英语近义近形词辨析

    十二、expense、expansion和其他近义词 * expense:费用 * expansion:膨胀 * extension:扩充 * exposure:暴露 这些词汇的意思和用法非常相似,例如,expense表示费用,而expansion表示膨胀。 十三、efficient...

    14_面向对象的窗体1

    在这个例子中,`__private_attribute`是`MyClass`的一个私有属性,外部不能直接访问。 总的来说,面向对象的窗体编程结合了继承和类的概念,使得在QT框架中创建和管理用户界面变得更加灵活和高效。通过继承`QWidget...

    shopNC数据库字典

    #### 十二、shopnc_arrival_notice **表注释:** 商品到货通知表 **用途:** 当商品缺货时,记录用户的到货提醒请求,以便商品补货后及时通知用户。 **重要字段(假设):** - `notice_id` (通知ID) - `user_id` ...

    VS C# 代码片段

    #### 十二、Foreach 循环 `foreach`代码片段用于快速生成`foreach`循环结构。例如: ```csharp string[] names = new string[] { "Alice", "Bob", "Charlie" }; foreach (var name in names) { Console.WriteLine...

    完整版考研英语近义词辨析.doc

    十二、different和indifferent的区别 different和indifferent都是英语中的常用词汇,但它们的意思却有所不同。different指的是不同的,而indifferent指的是无关紧要的。 十三、disappoint和disapprove的区别 ...

    软件工程实习设计答辩苏南生.ppt

    * 权限管理:用于控制用户对系统的访问权限,包括角色-based access control和attribute-based access control等。 七、邮件功能: * POP3和SMTP:用于邮件的发送和接收,POP3用于邮件的接收,SMTP用于邮件的发送...

    c++算法中的优化问题。

    `__attribute__((packed))`和`alignas`关键字可以帮助调整对齐方式。 综上所述,C++算法优化涉及多个方面,包括编译器选项、算法选择、内存管理和数据结构等。"飘落.cpp"的代码分析可以作为实战示例,帮助我们理解...

    从零开始学习jQuery

    - **属性选择器**:如`[attribute]`、`[attribute=value]`等。 #### 五、管理jQuery包装集 - **jQuery包装集**是指一组被jQuery包装的DOM元素集合。 - **操作**:可以对这些包装集进行操作,如增加、删除元素,改变...

    Laravel开发-laravel-validator

    5. 属性别名:使用`$attributeNames`数组,可以将错误消息中的字段名替换为更友好的别名。 四、验证断言 6. 使用`assertThat()`:Laravel提供了`PHPUnit`的`assertThat()`方法,可以在单元测试中直接验证输入是否...

    XFS 文件系统

    #### 十二、日志记录 - **Journaling Log**:XFS 采用日志记录机制,通过日志来确保文件系统的完整性和一致性,尤其是在系统崩溃后能够快速恢复。 通过以上详细解析,我们可以了解到 XFS 文件系统内部结构复杂且...

    数据库题库

    #### 十二、规范化理论 - **第一范式(1NF)**:如果关系模式R中所有属性都是不可分解的,则称R属于第一范式。 - **第二范式(2NF)**:若关系模式R属于1NF,并且每一个非主属性完全依赖于任何候选码,则称R属于2NF...

Global site tag (gtag.js) - Google Analytics