`
xxj
  • 浏览: 430471 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

遗留数据处理

阅读更多
发布测试版本,需要导入遗留的数据,刚开始,直接新建两个connection,一个是旧的数据库sqlserver,一个是新的数据库mysql,但是在保存mysql数据的时候:报无法找到sqlserver的表,原来数据在获取的时候才去取sqlserver的数据,并没有完全取出来。于是乎想到前两天网上看到的Magic Multi Connection:http://magicmodels.rubyforge.org/magic_multi_connections/

安装试用一下:
gem install magic_multi_connections



代码只是做了稍微的改动,就可以用了。
require 'rubygems'
require_gem 'activerecord'
require_gem 'magic_multi_connections'

ActiveRecord::Base.establish_connection(:adapter=>'sqlserver',:host=>'localhost',:database=>'hbpcvs',:username=>'sa')

class Member < ActiveRecord::Base
    self.table_name = "t_rm_vip_info"
    self.primary_key  = "card_flowno"
end

class MemberScore < ActiveRecord::Base
    self.table_name="t_memtotalscore"
    self.primary_key="membercode"
end

scores = {}
MemberScore.find(:all).each{|ms| scores[ms.membercode]=ms.remainderscore}

print "Fetch member's amount:",members.size,"\n"

class UserInfo < ActiveRecord::Base establish_connection(:adapter=>'mysql',:host=>'localhost',:database=>'romh',:username=>'root')
end

Member.find(:all).each do |m|
    u = UserInfo.new
    m.attribute_names.each{|ar| u.send("#{ar}=",m.send("#{ar}"))if u.attribute_present?(ar)}
    u.card_no = m.id
    #其他的属性
    #...
    #额外另一张表用户的积分
    u.socres=scores[m.id].nil? ? 0:scores[m.id]
    u.save!
end


:)成功。


但是唯一可惜的是效率的问题,一万多条数据跑了好几分钟:(有空再考虑优化,现在得继续忙着干活去.
分享到:
评论

相关推荐

    python遗留物检测项目源码和测试视频数据都有

    Python是一种广泛应用于各种领域的编程语言,特别是在数据分析、机器学习、人工智能和自动化任务处理等方面表现出色。在这个名为"遗留物检测"的项目中,我们可以看到它被用来开发一个系统,该系统能够识别并检测特定...

    基于opencv的遗留物检测

    5. 目标检测:对经过后处理的前景区域进行分析,例如使用轮廓检测找到封闭的区域,然后根据面积、形状等特征判断是否为遗留物。 项目的压缩包文件"LostDetect++++"很可能包含了项目的源代码、资源文件、编译好的可...

    Grails入门指南 -- 针对grails1.0.4更新

    - **遗留数据处理**:在已有数据表基础上进行Grails应用开发的方法。 - **ORM问题解决**:针对对象关系映射中遇到的问题提出解决方案。 - **Grails版本升级**:指导如何从旧版本平稳过渡到新版本。 #### 四、...

    基于opencv的遗留物检测-C++代码类资源

    在【压缩包子文件的文件名称列表】中,我们看到"LostDetect++++"可能是项目的主程序或源代码文件,而"1"可能代表一个配置文件、测试数据或其他相关资源。具体的实现细节,如算法的选择、参数的设定以及结果的展示等...

    Opencv视频处理遗留物检测 智能视频分析项目中的一部分.rar

    这个名为"Opencv视频处理遗留物检测 智能视频分析项目中的一部分.rar"的压缩包文件,可能包含了一个用OpenCV进行视频处理的项目,其主要目标是检测场景中的遗留物,这在安全监控、公共场所管理等领域具有广泛应用。...

    python遗留物检测遗失物品检测预警

    综上所述,“python遗留物检测遗失物品检测预警”涉及到的技术广泛,包括计算机视觉、机器学习、实时处理、网络通信等多个方面。通过合理整合这些技术,可以构建出一套高效、准确的遗失物品检测系统。

    关于数据地图的几个遗留问题解决方案.docx

    总的来说,处理数据地图的遗留问题需要深入理解地理信息处理技术,掌握相应的编程工具,以及具备良好的数据可视化思维。通过不断实践和学习,我们可以克服这些挑战,制作出既实用又具有吸引力的数据地图。

    遗留物或搬移物检测相关资料

    7. 事件响应:一旦检测到搬移物或遗留物,需要有计划的事件响应流程来处理。这包括隔离受影响的系统,收集证据,分析威胁,修复漏洞,并制定防止未来事件发生的策略。 8. 恶意软件分析:在某些情况下,搬移物可能是...

    配电网自动化数据质量分析工作及数据处理应用开发.pdf

    本文从数据质量分析与处理应用开发的角度出发,探讨了如何提升配电网自动化领域的数据处理能力与质量。 首先,本文介绍了配电网自动化数据质量分析的三个主要内容:主站与GIS自动化开关台账对比、自动化终端遥信...

    遗留物检测

    总的来说,遗留物检测涉及多种IT技术的综合应用,包括但不限于混合高斯模型、计算机视觉、图像处理、特征提取、深度学习和多视角融合。这样的系统能够实时监控环境,及时发现异常,对于防止安全事故、优化生产流程和...

    CEB-CP-TES-30-614 性能测试争议和遗留缺陷处理确认单模板1

    "CEB-CP-TES-30-614 性能测试争议和遗留缺陷处理确认单模板1"是一个专门用于记录和管理性能测试过程中的问题和缺陷的工具,确保团队能够有效地跟踪、解决并防止这些问题。 首先,"系统名称"字段用于识别问题所属的...

    半导体集成电路可靠性测试及其数据处理方法.pdf

    可靠性测试和数据处理方法的研究,是确保半导体产品质量的关键环节。 首先,半导体集成电路的可靠性测试是整个质量检验的核心。产品的可靠性直接关系到使用寿命和性能稳定性,是衡量产品质量的重要指标。在测试中,...

    基于全方位计算机视觉的遗留物检测系统

    深度学习模型,尤其是卷积神经网络(CNN),在图像处理领域表现出色,它能从大量的图像数据中学习到复杂的视觉模式。通过训练,深度学习模型能识别出遗留物的特征,并在实际应用中进行准确的遗留物检测。 此外,全...

    不动产登记历史遗留问题典型案例分析.pdf

    第三,建立不动产登记业务专班,负责处理不动产登记业务,并提供专业的指导和服务。 第四,对业主和原始开发单位进行指导和教育,提高他们对不动产登记业务的认识和理解。 第五,加强与相关单位的合作,共同解决不...

    基于SOA架构的企业遗留系统复用研究

    2. **数据集成**:遗留系统的数据结构和现代系统可能存在差异,需要进行数据转换。 3. **业务逻辑解耦**:将复杂的业务逻辑从遗留代码中抽取出来,封装为独立服务是一项艰巨任务。 4. **安全性**:复用遗留系统可能...

    个人JSP页面遗留问题解决方案

    在开发基于JSP的Web应用时,经常...以上方案提供了处理JSP页面数据重复提交、页面刷新导致的重复操作以及ZTree子页面操作同步问题的基本方法。在实际开发中,可能还需要结合具体的业务逻辑和用户交互进行调整和优化。

    基于Matlab的遗留系统并行化重构方法.pdf

    在探讨“基于Matlab的遗留系统并行化重构方法”这一主题时,首先需要明确几个核心概念。Matlab(Matrix Laboratory的...通过科学的方法和恰当的策略,可以有效地提升遗留系统的性能,使其在处理大型数据集时更加高效。

    基于JavaEE分布式系统企业遗留信息系统再工程框架集成研究.pdf

    遗留信息系统含有大量宝贵的数据和功能,它们经过升级再工程能够被更好地利用,从而提升系统整体的可用性。JavaEE分布式系统由于其高效的组件模型和模块化设计,成为企业信息系统再工程的理想选择。本文围绕基于...

    遗留物检测,VS2015+OPENCV400

    GMM是一种统计建模方法,它可以用来表示数据的概率分布,特别是在处理具有多个可能来源的数据时。在遗留物检测中,GMM可以用来学习正常移动物体的行为模式。当一个物体在特定区域内停留超过8秒(即停顿时间),系统...

    从单机至分布式架构的遗留系统再工程1

    通过特定方法(如"方法"和"技术")提高了系统性能,解决了数据获取时效性、大数据量加载速度等问题,提升了分布式系统的并发处理能力。 6. **系统改造流程**:文章详细描述了整个改造过程,从系统分析到接口封装,...

Global site tag (gtag.js) - Google Analytics