`
kjava
  • 浏览: 77414 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

GAE bulkupload 之大批量数据导入(二)

    博客分类:
  • GAE
阅读更多

只知道ERP在实施过程中,数据初始化是最基本的工作之一,尤其是现有系统的数据迁移,更是梦魇般。

GAE 尽管推出了不错的bulkupload 工具,但是在导入的过程却总是会碰到不少怪异的问题。

 

由于数据量 非常大,而且字段的长度都在10万字左右,所以 采用分割多个CSV的方案,5000条记录一个文件,每个文件在60M左右。

 

导入的时候碰到一个极其怪异的问题,有一条记录死活都导入不进去,报的异常是 datastore_v3.put()  too large 之类的,GOOGLE 了一通,基本说得都是不能插入10M以上的文件之类的原因,偶得记录是大,10万字,可也没有10M呀,不解,实在没办法,只好过滤这条记录,再说,过滤这条记录后,一路顺通. 或过头来,再把那条记录挑出来,单独生成一个文件导入,一切OK . 不解! 不过总算是j解决了。

 

过滤特定记录的方法

 

class Chapter_loader(Loader):  
	def __init__(self):    
		Loader.__init__(self, 'Remark',
		         [('id', str),
			 ('content', str)
		])
	def HandleEntity(self, entity):        
		if  entity.id not in['5bdaa24f-88e1-44ee-a8d2-ff1d49511477','2d266ea7-dab8-4cb4-bd6f-73aea54e1d56'] :            
			return entity		
		return []           # skip a csv row

  

分享到:
评论

相关推荐

    gae-pytorch-master_pytorch_pytorchgae_GAE_自编码器_gaepytorchmaster_

    【标题】"gae-pytorch-master_pytorch_pytorchgae_GAE_自编码器_gaepytorchmaster_" 提供的信息表明,这是一个使用PyTorch实现的图自编码器(Graph Autoencoder, GAE)项目,其核心是将自编码器的概念应用于图数据。...

    GAE之webapp框架

    ### GAE之webapp框架详解 #### 一、引言 在Google App Engine (GAE) 平台上进行Web应用开发时,选择合适的框架对于提高开发效率至关重要。其中,`webapp` 框架因其简洁高效而备受开发者青睐。本篇文章将详细介绍`...

    基于GAE的Demo

    首先,Google App Engine(GAE)是Google推出的一个PaaS(Platform as a Service)平台,它允许开发者使用Java或Python等语言编写Web应用,并将这些应用部署到全球范围内的Google数据中心运行。GAE的优势在于其高...

    gae_in_pytorch-master_GAE_

    **二、GAE与VGAE** 提到GAE,通常会联想到变分图形自动编码器(Variational Graph Autoencoder, VGAE)。VGAE是在GAE基础上引入了变分推断的概念,用于处理图的生成问题。在VGAE中,通过引入潜在变量来对图的生成...

    GAE使用规则

    GAE使用规则GAE使用规则GAE使用规则GAE使用规则GAE使用规则GAE使用规则GAE使用规则GAE使用规则GAE使用规则

    spring+gae

    2. **数据存储**:Spring与GAE的数据存储API(如JDO或JPA)结合,可以提供一个统一的数据访问层,简化对Google Datastore的操作。 3. **调度任务**:Spring的TaskExecution和TaskScheduler模块可以与GAE的后台任务...

    GAE入门教程

    pass之GAE入门教程, 学习GAE

    GAE包(以配置好,解压可用)

    Python是GAE支持的主要编程语言之一,用于编写应用程序。SDU(可能是某种特定的工具或服务)里的exe文件可能是用于启动或管理GAE环境的可执行程序。而“客户端加服务端中localproxy中的proxy.py”可能是一个本地代理...

    GAE blog安装

    2. **项目结构**:在GAE上部署应用通常需要一个特定的项目结构,包括`app.yaml`配置文件,它定义了应用的运行环境、服务、版本和其他元数据。在给定的文件名称列表中,我们看到了`index.yaml`,这通常是用于定义应用...

    GAE编程指南

    《GAE编程指南》是一种云计算服务,跟其他的同类产品不同,它提供了一种简单的应用程序构建模型,通过这种模型,你可以轻松地构建出能够容纳数百万用户的应用程序。《GAE编程指南》是介绍使用这个强大平台的专家级...

    GAE read rss send to 腾讯微博

    标题“GAE read rss send to 腾讯微博”指的是一个使用Google App Engine(GAE)平台开发的应用程序,该程序的功能是从RSS源读取数据并将其发布到腾讯微博。RSS(Really Simple Syndication)是一种内容聚合格式,常...

    关于GAE的教程、工具与文档(建站)

    3. **数据存储**:GAE提供了NoSQL数据库服务,称为**Datastore**。它是一种非关系型分布式数据库,支持高可用性和可扩展性。了解其数据模型(实体、键、属性)和查询语言(GQL或通过API)是至关重要的。 4. **服务...

    GAE和SAE的比较

    云计算下的PaaS中的GAE和SAE平台

    GAE入门教程.pdf

    - GAE 使用自己的数据存储系统,称为 Datastore,提供了 NoSQL 数据模型。 - 查询语言 GQL 类似于 SQL,用于检索和操作数据。 8. **使用模板文件** - Django 模板引擎可以用于创建动态网页,实现数据和页面结构...

    gae编程指南

    《GAE编程指南》是一种云计算服务,跟其他的同类产品不同,它提供了一种简单的应用程序构建模型,通过这种模型,你可以轻松地构建出能够容纳数百万用户的应用程序。《GAE编程指南》是介绍使用这个强大平台的专家级...

    让gae支持php的方法

    1. **安装和配置Quercus**:首先,你需要下载Quercus的Java库,并将其添加到你的GAE项目类路径中。这可以通过在你的项目`lib`目录下放置Quercus的JAR文件来完成。 2. **构建PHP处理程序**:创建一个Java类作为PHP...

    GAE入门教程.docx

    开发 GAE 应用需要下载并安装 Google 提供的 Software Development Kit (SDK),它包含了模拟 App Engine 环境的 web 服务程序、本地数据存储模拟、Google 帐号集成以及 URL 分析和邮件发送的 API 支持。SDK 支持 ...

    gtap,基于GAE的代理

    标题中的“gtap,基于GAE的代理”指的是一个名为GTAProxy的项目,它是一个构建在Google App Engine(GAE)平台上的代理服务。这个服务的主要目的是为用户提供访问Twitter API的能力,尤其在某些地区或者特定网络环境...

Global site tag (gtag.js) - Google Analytics