`
wang_peng1
  • 浏览: 3942954 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

TFRecordWriter

 
阅读更多
def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))


def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))


def convert_to(dataset, name, directory):
  """Converts a dataset to TFRecords."""
  images = dataset.images
  labels = dataset.labels
  num_examples = dataset.num_examples

  if images.shape[0] != num_examples:
    raise ValueError('Images size %d does not match label size %d.' %
                     (images.shape[0], num_examples))
  rows = images.shape[1]
  cols = images.shape[2]
  depth = images.shape[3]

  filename = os.path.join(directory, name + '.tfrecords')
  print('Writing', filename)
  writer = tf.python_io.TFRecordWriter(filename)
  for index in range(num_examples):
    image_raw = images[index].tostring()
    example = tf.train.Example(features=tf.train.Features(feature={
        'height': _int64_feature(rows),
        'width': _int64_feature(cols),
        'depth': _int64_feature(depth),
        'label': _int64_feature(int(labels[index])),
        'image_raw': _bytes_feature(image_raw)}))
    writer.write(example.SerializeToString())
  writer.close()

def example_parser(serialized_example):
    """Parses a single tf.Example into image and label tensors."""
    features = tf.parse_single_example(
        serialized_example,
        features={
            'image_raw': tf.FixedLenFeature([], tf.string),
            'label': tf.FixedLenFeature([], tf.int64),
        })
    image = tf.decode_raw(features['image_raw'], tf.uint8)
    image.set_shape([28 * 28])

    # Normalize the values of the image from the range [0, 255] to [-0.5, 0.5]
    image = tf.cast(image, tf.float32) / 255 - 0.5
    label = tf.cast(features['label'], tf.int32)
    return image, tf.one_hot(label, 10)

 

分享到:
评论

相关推荐

    mnist制作tfrecords文件

    3. 创建TFRecordWriter对象:使用`tf.io.TFRecordWriter()`创建一个TFRecordWriter对象,指定要写入的文件路径。 4. 将数据转换为TFExample:对于每个MNIST样本,我们将其图像数据和对应的标签编码为`tf.train....

    mnist数据 tfrecords版本

    2. **创建TFRecordWriter**:使用`tf.io.TFRecordWriter`创建写入器,指定输出文件路径。 3. **编码数据**:将每个图像和对应的标签编码为`tf.train.Example`协议缓冲区,这通常涉及将图像数据转换为字符串,并将...

    VOC2007_test

    2. **创建TFRecordWriter**:使用`tf.io.TFRecordWriter`初始化一个写入器,指定输出的tfrecords文件路径。 3. **数据编码**:对每个图像的JPEG数据进行读取,并使用`tf.image.encode_jpeg`编码为字节字符串。同时...

    read_pbtxt_file.py

    3. **创建TFRecordWriter**:使用`tf.io.TFRecordWriter`打开一个TFRecord文件,准备写入转换后的数据。 4. **写入数据**:将每个转换后的Example或Feature写入TFRecord文件,这一步可能涉及到循环遍历JSON文件中的...

    tfrecords guide

    2. **创建TFRecordWriter**:使用`tf.io.TFRecordWriter`创建一个指向目标TFRecords文件的写入器。 3. **写入记录**:遍历所有数据,将每条记录(包括图像数据和元数据)写入TFRecords文件。这通常涉及到`tf.train....

    convert picture to tensorflow format

    记得在每次迭代后关闭`TFRecordWriter`,以确保数据正确写入。 6. **读取TFRecords**: 要从TFRecords文件中读取数据,可以使用`tf.data.TFRecordDataset`,配合`tf.io.parse_example`进行解析: ```python ...

    csv_TFRecord.zip_TFRecord_csv_csv tfrecord_csv转为tf_tensorflow cs

    使用`tf.io.TFRecordWriter`打开TFRecord文件,然后逐条写入数据。这一步是将预处理后的数据转换成TFRecord格式的关键。 6. **保存元数据** 为了能够从TFRecord文件中恢复原始数据,通常需要保存一些元数据,如...

    tensorflow数据集制作以及使用Inceptionv3进行训练

    通过`tf.data.TFRecordWriter`,你可以将这些处理后的数据写入TFRecord文件。 接下来,我们来看看InceptionV3模型。InceptionV3是Google Brain团队设计的一种卷积神经网络(CNN),首次提出于2015年的ImageNet比赛...

    完整的tensorflow实现自己的首次分类

    这通常涉及使用`tf.io.write_file()`和`tf.io.encode_jpeg()`或`tf.io.encode_png()`函数将图像编码为二进制字符串,然后使用`tf.data.TFRecordWriter`写入TFRecord文件。 2. **构建输入管道**: 使用`tf.data....

    Python-TensorFlow数据压缩

    通过设置`TFRecordWriter`的`compression_type`参数,可以将写入的记录以gzip或其他方式压缩。 三、使用示例 ```python import tensorflow as tf # 读取gzip压缩的TFRecord文件 compressed_file = 'path/to/...

    用于机器学习,MAT文件转tfrecords文件

    3. **创建TFRecords文件**:使用TensorFlow的`tf.io.write_file`和`tf.io.TFRecordWriter`来创建TFRecords文件。每个样本的数据会被序列化为一个`tf.train.Example`协议缓冲区,它包含特征字典,其中键是特征名,值...

    tensorflow下 自制rfrecords数据集采用one-hot编码做图像分类源码

    3. 创建writer:使用`tf.io.TFRecordWriter`来打开一个RFRecords文件,用于写入数据。 4. 写入数据:遍历预处理后的每一张图像及其对应的标签,将其编码成字节流后写入RFRecords文件。同时,为了便于之后的读取,...

    tfrecord作为数据源应用到Keras中.rar

    3. 写入文件:使用 `tf.io.write_file` 或 `tf.data.TFRecordWriter` 将序列化的数据写入 `tfrecord` 文件。 ### 3. 读取 tfrecord 文件 读取 `tfrecord` 文件主要通过 `tf.data.TFRecordDataset` API 实现,它会...

    TFRecord格式存储数据与队列读取实例

    TFRecord的使用过程涉及几个关键函数:tf.train.Feature用于创建特征,tf.train.Example用于定义示例,而tf.python_io.TFRecordWriter用于将数据序列化为字符串后写入到TFRecord文件中。tf.train.Feature可以通过tf....

    Tensorflow 实现将图像与标签数据转化为tfRecord文件

    然后,通过`tf.io.write_file`或者`tf.data.TFRecordWriter`将Example序列化并写入到tfRecord文件中。 转换过程通常分为以下几个步骤: 1. **数据预处理**:首先,你需要读取和处理图像文件,将其转换为字节流。...

    tensorflow TFRecords文件的生成和读取的方法

    使用TensorFlow的tf.python_io.TFRecordWriter类,我们可以创建一个用于写入TFRecords文件的writer对象。这里是一个生成TFRecords文件的基本步骤: 1. 准备图片路径和标签数据。 2. 如果需要,可以打乱数据顺序。 3...

    Tensorflow使用tfrecord输入数据格式

    具体到代码实现,需要导入Tensorflow模块,并使用tf.python_io.TFRecordWriter创建一个写入器。然后,遍历每个类别的文件夹中的每张图片,将每张图片转换为字节串,并创建一个tf.train.Example实例。每个实例包含两...

    tensorflow入门:tfrecord 和tf.data.TFRecordDataset的使用

    然后,使用`tf.python_io.TFRecordWriter`将序列化的`Example`写入TFRecord文件: ```python tfrecord_wrt = tf.python_io.TFRecordWriter('xxx.tfrecord') exmp = get_tfrecords_example(feats[inx], labels[inx])...

    Tensorflow中批量读取数据的案列分析及TFRecord文件的打包与读取

    1. 数据打包成TFRecord:将数据写入TFRecord文件,你可以使用`tf.python_io.TFRecordWriter`。首先,将数据转换为字符串并添加到`Example`消息中,然后使用`tf.train.Example`的`SerializeToString()`方法序列化,...

Global site tag (gtag.js) - Google Analytics