`
hudeyong926
  • 浏览: 2031534 次
  • 来自: 武汉
社区版块
存档分类
最新评论

项目数据批量维护

阅读更多

推荐用存储过程更新数据,不会的话可以用以下方法。

项目中某个表中的数据需要维护,数据量巨大。

1.首先将要维护的数据筛选出来,编写脚本执行变量的sql更新操作。

2.csv文件中去批量更新数据,保存文件。

<?php
//ImportCsv.php
set_time_limit(60);

$link = mysql_connect("localhost","root","orbit");
mysql_select_db("wms_site_ks01");
$filePath_unite = "./job_item_id.csv";

if (is_file($filePath_unite)) {
	$handle_unite = @fopen($filePath_unite,"r");
	$key=0;
	while ($data_unite = fgetcsv($handle_unite, 1000, ",")) {
		if($key>0){
			echo "update stock_moves set job_item_id='".$data_unite['9']."' where stock_mv_id=".$data_unite['0'].";"."<br/>";
			//mysql_query("update stock_moves set job_item_id='".$data_unite['9']."' where stock_mv_id=".$data_unite['0']) or die("Invalid query: " . mysql_error());
		}
		$key++;
		//print "<pre>";print_r($data_unite);die;
	}

	fclose($handle_unite);
}else {
	die("File does not exist");
}
?>

 例子二 加处理条数限制防止程序内存溢出或处理超时,再加页面自己刷新即可解决,新建导入字段,导入后更新,导完后删除字段import即可.还有一种更好的方案,新增一个临时表,记录脚本跑到的终点,下次脚本跑的时候就接着记录跑,优点可以不用修改表字段,跑脚本的时候少了更新操作

<?php
set_time_limit(0);
$sql = "select * from core_catalog where level=3 and import=0 limit 30";
$result = Yii::app()->db->createCommand($sql)->queryAll();
foreach ($result as $var3 => $key3) {
    $url = "http://wbmall.bama555.com/api//props?cid=" . $key3['id'] . "&app_key=5318260b3d8f0036";
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 获取数据返回
    curl_setopt($ch, CURLOPT_BINARYTRANSFER, true); // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回
    $output = curl_exec($ch);
    $data = json_decode($output, true);
    foreach ($data as $info) {
        $sql = "insert into core_catalog_standard(id, catalog_id, pid, level, name,title,sort)
                    values({$info['id']}, {$info['gcat_id']}, 0, 1, 'stand_{$info['id']}', '{$info['name']}', {$info['listorder']});";
        Yii::app()->db->createCommand($sql)->execute();
    }
    $sql = 'update core_catalog set import=1 where id=' . $key3['id'];
    Yii::app()->db->createCommand($sql)->execute();
    echo 'complate' . $level . "共:" . count($data);
    echo "<script>setTimeout(window.location.href=window.location.href, 3000);</script>";
    exit;
}
 
 
 
 
 
分享到:
评论

相关推荐

    wpf 批量处理数据

    在IT领域,WPF(Windows Presentation...综上所述,WPF的`DataGrid`结合MVVM模式可以提供强大的批量数据处理能力,同时保持代码的清晰结构和可维护性。在实际开发中,我们需要根据具体需求和场景进行适当的设计和实现。

    Java 实现从Excel批量导入数据到MySQL

    在IT行业中,经常需要处理大量的数据,...总之,通过Java结合Apache POI和JDBC,我们可以高效地实现Excel数据批量导入到MySQL数据库,大大提升了数据处理的效率。这种技术在大数据处理、数据分析等领域有着广泛的应用。

    利用爬虫把github上所有的项目数据爬下来,包含项目名,语言类型,星数等

    本项目专注于使用爬虫从GitHub上抓取项目数据,包括项目名称、编程语言类型以及星标(star)数量等关键信息。GitHub作为全球最大的开源代码托管平台,其上的项目数据极具价值,可以反映出当前技术趋势和热门编程语言...

    struts批量修改数据

    在处理批量修改数据的任务时,Struts框架提供了强大的支持,允许开发者构建可扩展且易于维护的系统。下面我们将深入探讨Struts在批量修改数据方面的关键知识点。 首先,我们关注`UserForm.java`。这通常是一个...

    批量生成项目(源代码)

    批量生成时,这些元数据可以作为输入,根据不同的元数据生成不同特性的项目。 3. **脚本语言**:常见的用于批量生成的脚本语言有Python、Shell、JavaScript(Node.js)等。它们能够处理文件操作、文本替换、条件...

    Java_批量导出大数据量Excel方法.zip

    本资料"Java_批量导出大数据量Excel方法.zip"包含两个关键文件:excelproj和ExpXLS,它们可能是项目的源代码或示例,用于演示如何实现这个功能。 1. **Apache POI库**: Apache POI是Java中广泛使用的库,用于读写...

    struts2批量提交数据

    Struts2是一个非常流行的Java Web框架,用于构建可维护、可扩展且结构清晰的企业级应用程序。在处理批量数据提交时,Struts2...在实际开发中,应结合项目需求和性能要求,灵活调整策略,确保批量操作的稳定性和效率。

    springBoot+springBatch批量处理数据demo

    SpringBoot和SpringBatch是...对于大型数据集的处理,这样的组合提供了强大而灵活的解决方案,确保了高效率和可维护性。通过深入理解这些概念和实践,开发者能够更好地利用SpringBoot和SpringBatch进行大数据处理任务。

    数据仓库项目文档模板

    它为团队成员、利益相关者以及未来的维护者提供了清晰的指导,定义了项目的范围、目标、架构、设计、实施过程以及测试策略。以下是对数据仓库项目文档模板各部分的详细解释: 1. **项目概述** - **项目背景**:...

    一个PLC读写控制类,支持批量读取数据集合。本项目中使用了HslCommunication组件。.zip

    在PLC读写控制项目中,C#的类结构和面向对象特性使得代码组织有序,易于理解和维护。 2. **PLC读写控制类设计**:在C#中,我们可以创建一个名为`PLCControl`的类,封装读写操作。这个类应包含初始化连接、发送读/写...

    如何用LSMW成批量导入数据.doc

    运行批导入会话用于将数据批量导入到目标系统中。在运行批导入会话时,需要指定批导入的参数和设置。 使用LSMW批量导入数据需要经过多个步骤,包括创建LSMW项目、维护对象的属性、制作Excel数据采集模板、维护源...

    通过.NET技术批量处理Excel数据

    在.NET技术框架下,批量处理Excel数据是一种常见的需求,尤其在大数据分析、报表生成或自动化办公场景中。这里,我们将探讨如何...具体实现时,需结合实际项目需求,合理选择工具和技术,确保代码的可维护性和性能。

    Asp.net 批量录入示例

    以上是Asp.net批量录入示例中可能涉及的主要技术点,具体实现方式会根据实际项目需求和设计模式有所不同,但这些基础概念和技巧构成了批量录入功能的核心。通过深入理解和熟练运用这些知识,可以创建出高效、稳定的...

    SAP固定资产主数据维护.pptx

    4. **WBS元素**:对于某些类别的资产(如第5、6、8、9类),在创建采购请求时会直接创建资产主数据,此时创建者需要输入相应的WBS(工作分解结构)号,以便跟踪项目支出。 5. **流程管理**:在建工程转为固定资产的...

    基于Excel VBA的批量数据提取工具开发.pdf

    通过VBA编程,可以实现对电子表格的读取、数据的提取和处理,从而简化了数据处理流程,提高了工作效率,并且具有易于使用和维护、可靠性高的特点。 VBA(Visual Basic for Applications)是微软推出的一种宏编程...

    实现网页表格输入框批量粘贴

    在实际项目中,可能还需要结合其他技术,如jQuery或现代前端框架(如React、Vue等),以简化DOM操作和提高代码可维护性。"excel单元格粘贴到TABLE.html"这个文件名可能是一个示例代码文件,包含了具体的实现细节,你...

    java批量获取百度地图坐标

    在Java编程环境中,批量获取百度地图坐标是一项常见的地理信息系统(GIS)任务,它涉及到网络请求、数据解析以及地理编码技术。下面将详细讲解这个过程涉及的知识点。 首先,我们需要了解百度地图API。百度地图提供...

    基于matlab批量数据处理软件开发.rar

    本项目"基于matlab批量数据处理软件开发"旨在利用Matlab的高级编程能力,实现对大量数据的高效处理,这在现代大数据时代具有极其重要的价值。下面将详细阐述Matlab在批量数据处理中的应用、关键技术和相关知识点。 ...

    python项目源码_实例71_Python从Excel表中批量复制粘贴数据到新表.rar

    在本项目源码"Python从Excel表中批量复制粘贴数据到新表"中,我们主要探讨的是如何利用Python编程语言高效地处理Excel文件,特别是进行数据的批量复制与粘贴操作。Python提供了多种库来处理Excel文件,其中最常用的...

Global site tag (gtag.js) - Google Analytics