读取器
读取器从存储中的数据集迭代记录，并将数据加载到数据向量中。除了数据集中的单个条目之外，阅读器的用处包括：如果想要在语料库上训练文本生成器，或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办？读取器实现对于复杂的文件类型或分布式存储机制是有用的。
读取器返回记录记录中每一列的Writable类。这些类用于将每个记录转换为张量/NDArray 格式。
使用
每个读取器实现都扩展了BaseRecordReader并提供了一个简单的API用于选取数据集中的下一条记录，行为类似于迭代器。
包括以下有用的方法：
-
next: 返回一个批量的 Writable。
-
nextRecord: 返回单条记录，RecordMetaData 是可选的。
-
reset: 重置基础迭代器。
-
hasNext: 迭代器方法以确定是否有其他记录可用 。
监听器
你可以将自定义的RecordListener挂钩到记录读取器进行调试或可视化目的。在初始化类之后，立即将你的自定义侦听器传递给addListener基类方法。
读取器的类型
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
记录读取器用于每个管道。独立的记录是由两个集合连接而成的。
ConcatenatingRecordReader 连接记录读取器
[源码]
把多个读取器合并为一个读取器。记录按顺序读取-因此如果第一个取读器有100条记录，并且第二个读取器有200条记录，那么连接记录读取器将有300条记录。
FileRecordReader 文件记录读取器
[源码]
文件读取/写入
getCurrentLabel
public int getCurrentLabel()
返回当前标签。标签列表中当前文件的父目录的索引。
LineRecordReader 行记录读取器
[源码]
一行一行读取文件
CollectionRecordReader 集合记录读取器
[源码]
集合记录读取器，主要用于测试。
CollectionSequenceRecordReader 集合序列读取器
[源码]
用于序列的集合记录读取器，主要用于测试。
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
- 参数records是序列集合。例如List<List<List>> 这里内部两个列表都是序列，并且外部的列表／集合是一个序列。
ListStringRecordReader 集合字符记录读取器
[源码]
迭代一个字符列表返回一条记录
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
在初始化的时候调用一次。
- 参数 split是定义要读取的记录范围的拆分
- 抛出 IOException
- 抛出 InterruptedException
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
在初始化的时候调用一次
- 参数 conf是一个用于初始化的配置
- 参数 split是定义要读取的记录范围的拆分
- 抛出 IOException
- 抛出 InterruptedException
hasNext
判断是否有下一条记录
reset
重置
nextRecord
public Record nextRecord()
从给定的DataInputStream加载记录，与{-link#next()}不同，RecordReader的内部状态没有修改。此方法的实现不应关闭DataInputStream。
- 参数 uri
- 参数 dataInputStream
- 抛出 IOException ，如果从输入流中读取的时候出错。
close
public void close() throws IOException
关闭此流并释放与之相关联的任何系统资源。如果流已经关闭，那么调用此方法没有效果。如{-Link AutoCutabySyCuffe（）}所指出的，关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code IOException}之前，放弃底层资源，并在内部将{-code Closeable}标记为关闭。
- 抛出 IOException， 如果 I/O 错误发生。
setConf
public void setConf(Configuration conf)
设置此对象要使用的配置。
getConf
public Configuration getConf()
返回此对象所使用的配置。
CSVRecordReader CSV记录读取器
[源码]
简单的CSV读取器。
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
跳过前n行
CSVRegexRecordReader CSV正则记录读取器
[源码]
一个CSV正则记录读取器，它可以使用正则将每个列拆分为其他列。
CSVSequenceRecordReader CSV序列记录读取器
[源码]
CSV序列记录读取器此读取器旨在读取CSV格式的数据序列，其中每个序列在其自己的文件中定义（并且有多个文件），文件中的每一行表示一个时间步骤。
CSVVariableSlidingWindowRecordReader CSV可变滑动窗口记录读取器
[源码]
在整个CSV上可变大小的滑动窗口。在实践中，滑动窗口大小开始于1，然后线性增加到最大线性序列，然后线性下降回到1。
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
带有每个序列默认行数为10的无参构造器
LibSvmRecordReader LibSvm记录读取器
[源码]
libsvm格式的记录读取器，它与SVMLight格式密切相关。与SCIKIT学习类似，我们为两种格式使用同一个读取器，因此该类是SvMLeadReadReader的子类。
关于格式的进一步细节可以在如下网站中找到
MatlabRecordReader Matlab记录读取器
[源码]
Matlab记录读取器
SVMLightRecordReader SVMLight记录读取器
[源码]
用于SVMLight格式的记录读取器，它通常可以描述为如下
LABEL INDEX:VALUE INDEX:VALUE …
SVMLight格式非常适合于稀疏数据（如词袋），因为它忽略了所有值为零的特征。
我们支持一个“扩展”版本，允许多个目标（或标签）用逗号分隔，如下：
LABEL1,LABEL2,… INDEX:VALUE INDEX:VALUE …
这可以用于表示多任务问题或具有稀疏二进制标签的多任务问题（通过“MULTILABEL”配置选项进行控制）。
与SCIKIT学习一样，我们支持基于零的和基于一个的索引。
关于格式的进一步细节可以在如下网站中找到
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
在尝试读取记录之前调用。
- 参数 conf 是数据向量配置
- 参数 split是文件分割器
- 抛出 IOException
- 抛出 InterruptedException
setConf
public void setConf(Configuration conf)
Set configuration. 设置配置
- 参数 conf 是数据向量配置
- 抛出 IOException
- 抛出 InterruptedException
hasNext
帮助检测被注释的行的帮助函数。可以提前读取并缓存一行。
nextRecord
public Record nextRecord()
以Writables的列表返回下一个记录。
RegexLineRecordReader 正则行记录读取器
[源码]
读取一整个文件，每次一行，并使用正则分割字段。例如：输入数据的格试为“2016-01-01 23:59:59.001 1 DEBUG First entry message!”
使用正则字符 “(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}) (\d+) ([A-Z]+) (.)”将被分割为4个文本writables: [“2016-01-01 23:59:59.001”, “1”, “DEBUG”, “First entry message!”]
RegexSequenceRecordReader 正则序列记录读取器
[源码]
读取一整个序列文件，每次一行，并使用正则分割字段。例如：输入数据的格试为“2016-01-01 23:59:59.001 1 DEBUG First entry message!”
使用正则字符 “(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}) (\d+) ([A-Z]+) (.)”将被分割为4个文本writables: [“2016-01-01 23:59:59.001”, “1”, “DEBUG”, “First entry message!”]
不匹配正则的行会倒致一个异常（FailOnInvalid），可以被悄悄跳过（SkipInvalid），或跳过无效但记录一个警告（SkipInvalidWithWarning）
TransformProcessRecordReader 转换过程记录读取器
[源码]
在返回之前应用一个转换过程。
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
在初始化的时候调用一次
- 参数 split 分割器，它定义记录被读取的范围
- 抛出 IOException
- 抛出 InterruptedException
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
在初始化的时候调用一次
- 参数 conf初始化需要的一个配置
- 参数 split 分割器，它定义记录被读取的范围
- 抛出 IOException
- 抛出 InterruptedException
hasNext
得到下一行
reset
重置
nextRecord
public Record nextRecord()
从给定的DataInputStream加载记录，与{-link#next()}不同，RecordReader的内部状态没有修改。此方法的实现不应关闭DataInputStream。
- 参数 uri
- 参数 dataInputStream
- 如果从输入流中读取的时候出错则抛出 IOException 。
loadFromMetaData
public Record loadFromMetaData(RecordMetaData recordMetaData) throws IOException
从一个RecordMetaData实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadFromMetaData(List)}一次加载多行是更有效的。
- 参数 recordMetaData 是 我们想要加载记录的Metadata
- 为给定的RecordMetaData实例返回单个记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
loadFromMetaData 原文档中漏了这个方法说明
public List<Record> loadFromMetaData(List<RecordMetaData> recordMetaDatas) throws IOException
从给定RecordMetaData实例列表中加载多条记录
- 参数 recordMetaData 是 我们想要加载记录的Metadata
- 为给定的RecordMetaData实例返回多条记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
setListeners
public void setListeners(RecordListener... listeners)
setListeners
public void setListeners(Collection<RecordListener> listeners)
为这个记录读取器设置记录监听器
close
public void close() throws IOException
关闭此流并释放与之相关联的任何系统资源。如果流已经关闭，那么调用此方法没有效果。如{-Link AutoCutabySyCuffe（）}所指出的，关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code IOException}之前，放弃底层资源，并在内部将{-code Closeable}标记为关闭。
- 抛出 IOException， 如果 I/O 错误发生。
setConf
public void setConf(Configuration conf)
设置这个对象使用的配置
getConf
public Configuration getConf()
返回这个对象使用的配置
TransformProcessSequenceRecordReader 转换过程序列记录读取器
[源码]
在返回之前被转换
setConf
public void setConf(Configuration conf)
设置这个对象使用的配置
getConf
public Configuration getConf()
返回这个对象使用的配置。
batchesSupported
public boolean batchesSupported()
返回是否支持批量
nextSequence
public SequenceRecord nextSequence()
从给定的DataInputStream加载序列记录，与{-link#next()}不同，RecordReader的内部状态没有修改。此方法的实现不应关闭DataInputStream。
- 参数 uri
- 参数 dataInputStream
- 如果从输入流中读取的时候出错则抛出 IOException 。
loadSequenceFromMetaData
public SequenceRecord loadSequenceFromMetaData(RecordMetaData recordMetaData) throws IOException
从一个RecordMetaData实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadSequenceFromMetaData(List)}一次加载多行是更有效的。
- 参数 recordMetaData 是 我们想要加载序列记录的Metadata
- 为给定的RecordMetaData实例返回单个记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
loadSequenceFromMetaData 原文档中漏了这个方法说明
public List<SequenceRecord> loadSequenceFromMetaData(List<RecordMetaData> recordMetaDatas) throws IOException
从给定RecordMetaData实例列表中加载多条记录
- 参数 recordMetaData 是 我们想要加载记录的Metadata
- 为给定的RecordMetaData实例返回多条记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
initialize
public void initialize(Configuration conf, InputSplit split) throws IOException, InterruptedException
在初始化的时候调用一次
- 参数 conf是一个用于初始化的配置
- 参数 split是定义要读取的记录范围的拆分
- 抛出 IOException
- 抛出 InterruptedException
hasNext
得到下一条记录
reset
重置
nextRecord
public Record nextRecord()
从给定的DataInputStream加载记录，与{-link#next()}不同，RecordReader的内部状态没有修改。此方法的实现不应关闭DataInputStream。
- 参数 uri
- 参数 dataInputStream
- 如果从输入流中读取的时候出错则抛出 IOException 。
loadFromMetaData
public Record loadFromMetaData(RecordMetaData recordMetaData) throws IOException
从一个RecordMetaData实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadFromMetaData(List)}一次加载多行是更有效的。
- 参数 recordMetaData 是 我们想要加载记录的Metadata
- 为给定的RecordMetaData实例返回单个记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
loadFromMetaData 此方法说明在原文档中没有
public List<Record> loadFromMetaData(List<RecordMetaData> recordMetaDatas) throws IOException
从一个RecordMetaData实例中加载单个记录。注意:对于不可分割的数据(即需要扫描/分割的文本数据),通过使用{- link #loadFromMetaData(List)}一次加载多行是更有效的。
- 参数 recordMetaData 是 我们想要加载记录的Metadata
- 为给定的RecordMetaData实例返回多条记录
- 如果在加载过程中发生 I/O错误则抛出 IOException
setListeners
public void setListeners(RecordListener... listeners)
setListeners
public void setListeners(Collection<RecordListener> listeners)
为这个记录读取器设置记录监听器。
close
public void close() throws IOException
关闭此流并释放与之相关联的任何系统资源。如果流已经关闭，那么调用此方法没有效果。如{-Link AutoCutabySyCuffe（）}所指出的，关闭可能失败的情况需要仔细注意。强烈建议在抛出{-code IOException}之前，放弃底层资源，并在内部将{-code Closeable}标记为关闭。
- 抛出 IOException， 如果 I/O 错误发生。
NativeAudioRecordReader 本地音频记录读取器
[源码]
使用FFmpeg的本地音频文件加载器。
WavFileRecordReader 声音文件记录读取器
[源码]
声音文件加载器
ImageRecordReader 图片记录读取器
[源码]
图像记录读取器。读取本地文件系统并解析给定高度和宽度的图像。所有图像被重新缩放并转换为给定的高度、宽度和通道数量。
如果指定，还附加标签（基于目录结构的k个编码之一，其中根目录的每个子目录是一个索引标签）
VideoRecordReader 视频记录读取器
[源码]
视频只是一个移动的图片窗口。应该这样处理。这会遍历根文件夹并返回一帧。
initialize
public void initialize(InputSplit split) throws IOException, InterruptedException
用给定的高和宽加载记录读取器
- 参数 height 是加载的高度
- 参数 width 是加载的宽度
TfidfRecordReader 词频-逆向文件频率记录读取器
[源码]
词频-逆向文件频率记录读取器（封装一个TFIDF矢量化器，用于传送标签并遵守记录读取器接口）
有任何问题请联系微信
如果您觉得我的文章给了您帮助，请为我买一杯饮料吧！以下是我的支付宝，意思一下我将非常感激！
分享到：
相关推荐
解决数码视讯Q5使用USB_Burning_Tool刷机时 提示 初始化DDR/读取初始化结果/USB错误
本篇将详细探讨如何在编程环境中读取文本文件中的行数据，主要以Python语言为例，因为Python提供了简单易用的接口来处理这类任务。 首先，让我们了解“读取文本中的行数据”这个概念。文本文件通常由一行行的数据...
基于labview的OneNET云平台数据写入与读取。 可通过labview往云台设备写入/读取数据。 也可通过手机app查看labview写入的数据，实现实时监控。
本文将深入探讨如何使用JavaScript在浏览器端解析和读取Excel文件，主要基于开源库`js-xlsx`。 `js-xlsx`是一个强大的JavaScript库，专门用于解析和操作Excel文件（.xlsx和.xls格式）。它支持读取二进制文件、Base...
C51单片机控制AD7746芯片读取电容值后通过共阴极数码管显示的KIEL工程源码，可做为你的学习设计参考。 void main() { initt(); while(1) { read_add(MRD,3);//读取的值共有3个字节24位 H=MRD[0];//读取高8位...
基恩士SR-1000系列自动对焦1D/2D条码读取器是基恩士公司推出的一款高科技产品，具备自动对焦功能和读取1D/2D条码的能力。这款设备具备优秀的性能，能够在不同的场合中应用，对于微型条码和刻印在镜面上的条码，可以...
在数据库编程中，数据读取器（如ADO.NET中的SqlDataReader）是一种高效的方式来检索大量数据。数据读取器不缓存整个数据集，而是按需逐行读取，从而节省内存资源。当处理大型结果集时，这种方法尤其有用。本话题将...
在C++.NET环境中，我们可以利用数据读取器类来实现逐行读取记录的功能，这在处理文本文件、数据库查询结果或其他形式的数据流时非常常见。本篇文章将深入探讨如何使用数据读取器在C++.NET中实现这一操作。 首先，...
《同花顺日线数据文件读取器：深入解析与应用》 同花顺日线数据文件读取器是一款专为金融投资爱好者和专业人士设计的工具，它能够帮助用户高效地读取并分析同花顺提供的历史股票日线数据。在金融市场中，历史数据是...
编写读取指定行内容的函数 # 2.编写统计关键词数量的函数 # 3.编写读取指定关键词之间内容的函数 # 4.编写创建空白txt的函数 # 5.编写统计行数和字符串数量的函数 # 6.创建界面窗口 # 6.1获取多选按钮状态 # 6.2创建...
THINK.config //读取、设置配置文件 THINK.cache/cacheSync //读取、设置本地缓存 THINK.params //读取post、get、data-参数，post优先 THINK.html2json/json2html //htmljson THINK.mixin //非构造函数继承 ...
参考https://blog.csdn.net/yoie01/article/details/80524412 API声明https://docs.microsoft.com/zh-cn/windows/win32/api/psapi/nf-psapi-getwschangesex?redirectedfrom=MSDN
`JFileChooser`提供了更多的定制选项，如设置文件过滤器，以及处理打开和保存文件的对话框。 ```java JFileChooser fc = new JFileChooser(); int result = fc.showOpenDialog(null); if (result == JFileChooser....
Keyence基恩士SR-5000 1 CN SR-5000 UM 1D/2D 条码读取器 SR-5000 系列 用户手册 Rev.3.0
在工业环境中，有时由于各种原因，如原编程者离职、文档丢失等，可能会遇到无法访问PLC程序的情况，这时S7-200项目密码读取器就能发挥其作用。 标签再次强调了这个工具的主要功能，即它是一个专门针对S7-200项目...
在编程领域，尤其是在数据库操作中，数据读取器（DataReader）和数据表（DataTable）是两种常见的数据访问组件。本文将深入探讨如何在C++.NET环境中利用数据表来获取数据读取器的内容，并通过一个实际的编程实例进行...
西门子MV420和MV440工业级一维/二维码及字符读取器是一款专为工业应用而设计的读码系统，具备高速、高读取可靠性的特点。该设备集成了SIMATIC VS130-2和HawkEye 1500系列产品的优点，能够读取标准的高对比度条码及...
i--) //一个字节分8位读取 { temp>>=1; //读取1位右移1位 TMDAT=0; //数据线置低电平 delay=1; while(--delay); //延时2us TMDAT=1; //拉高总线 delay=4; while(--delay); //延时8us if...