- 浏览: 2160354 次
- 性别:
- 来自: 合肥
文章分类
- 全部博客 (401)
- Agile (16)
- Apache Commons (3)
- Architecture (8)
- DB.MongoDB (5)
- DB.Mysql (3)
- DB.Oracle (34)
- DirectoryService (1)
- DotNet (1)
- English (3)
- Groovy (0)
- Html (28)
- Java (67)
- Java.Aixs (7)
- Java.Cache (2)
- Java.jPBM (1)
- Java.Resin (6)
- Java.Spring (4)
- Java.Struts2 (5)
- Java.Tomcat (16)
- Javascript (45)
- Javascript.Google Map (2)
- Javascript.Jquery (8)
- Life (15)
- Maven&Ant (4)
- Network (5)
- OS.Linux (45)
- OS.Windows (10)
- OS.Windows.Office (1)
- PlayFramework (15)
- Python (28)
- Reading notes (11)
- Security (13)
- Server.Apache (3)
- Server.Nginx (7)
- Test (6)
- Tool (15)
- Work.Solution (15)
- Other (20)
- SSO&CAS&Identity (13)
最新评论
-
hutuxiansheng123:
防火墙、Iptables、netfilter/iptables、NAT 概述 -
dacoolbaby:
非常棒的正则表达式,非常适用。万分感谢。
用python分析nginx的access日志 -
loot00:
您好! 我也遇到了相同的错误信息。我是用f_link_lob ...
LOB variable no longer valid after subsequent fetch -
feihangchen:
@OnApplicationStop public clas ...
Play framework 1.2.3 Jobs定时任务、异步任务、引导任务、触发任务、关闭任务 -
洞渊龙王:
谢谢了
www.w3.org被qiang导致logback报错:Connect reset
需求:复制1个10多个G的文件夹(另外机器共享过来的文件夹,里面含有约10w个文件)到本机一个目录(另外那台机器磁盘满了的原因)
使用windows的文件夹复制,发现经常在复制一部分文件后,因某些莫名其妙的原因被中断(提示某个文件复制失败,网络被断开,可能是由于网络不稳定),然后就要从头再来,搞了几个小时还没有搞完,烦死
就想到用python写个脚本来做这个事情:文件已经存在并且大小一致时不重复复制加快处理速度
代码如下
使用windows的文件夹复制,发现经常在复制一部分文件后,因某些莫名其妙的原因被中断(提示某个文件复制失败,网络被断开,可能是由于网络不稳定),然后就要从头再来,搞了几个小时还没有搞完,烦死
就想到用python写个脚本来做这个事情:文件已经存在并且大小一致时不重复复制加快处理速度
代码如下
#! /usr/bin/env python # -*- coding: utf-8 -*- #@author zcwang3@gmail.com #@version 2010-09-25 14:57 import os import time sourceDir = r"\\192.168.3.250\mmtimages" targetDir = r"D:\mmtimages" copyFileCounts = 0 def copyFiles(sourceDir, targetDir): global copyFileCounts print sourceDir print u"%s 当前处理文件夹%s已处理%s 个文件" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), sourceDir,copyFileCounts) for f in os.listdir(sourceDir): sourceF = os.path.join(sourceDir, f) targetF = os.path.join(targetDir, f) if os.path.isfile(sourceF): #创建目录 if not os.path.exists(targetDir): os.makedirs(targetDir) copyFileCounts += 1 #文件不存在,或者存在但是大小不同,覆盖 if not os.path.exists(targetF) or (os.path.exists(targetF) and (os.path.getsize(targetF) != os.path.getsize(sourceF))): #2进制文件 open(targetF, "wb").write(open(sourceF, "rb").read()) print u"%s %s 复制完毕" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), targetF) else: print u"%s %s 已存在,不重复复制" %(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())), targetF) if os.path.isdir(sourceF): copyFiles(sourceF, targetF) if __name__ == "__main__": try: import psyco psyco.profile() except ImportError: pass copyFiles(sourceDir,targetDir)
评论
3 楼
Xorcerer
2010-10-08
让我想起rsync。
2 楼
desert3
2010-09-29
用python写的程序发现每秒大概能复制6 7 个图片文件(每个100k左右)
后来找到工具FastCopy,每秒大概能复制11个左右,速度更快,还有一些容错的功能
就直接用FastCopy,上面的代码就放弃了
后来找到工具FastCopy,每秒大概能复制11个左右,速度更快,还有一些容错的功能
就直接用FastCopy,上面的代码就放弃了
1 楼
sikeh
2010-09-26
distutils.dir_util.copy_tree does what you want.
Copy an entire directory tree src to a new location dst. Both src and dst must be directory names. If src is not a directory, raise DistutilsFileError. If dst does not exist, it is created with mkpath(). The end result of the copy is that every file in src is copied to dst, and directories under src are recursively copied to dst. Return the list of files that were copied or might have been copied, using their output name. The return value is unaffected by update or dry_run: it is simply the list of all files under src, with the names changed to be under dst.
Copy an entire directory tree src to a new location dst. Both src and dst must be directory names. If src is not a directory, raise DistutilsFileError. If dst does not exist, it is created with mkpath(). The end result of the copy is that every file in src is copied to dst, and directories under src are recursively copied to dst. Return the list of files that were copied or might have been copied, using their output name. The return value is unaffected by update or dry_run: it is simply the list of all files under src, with the names changed to be under dst.
发表评论
-
python sftp&ftp&ssh2
2012-03-06 11:29 10843ftp使用内置模块from ftplib import FTP ... -
python 子进程Subprocess & windows cmd当前目录和python当前目录的区分
2012-03-05 10:28 10959maven命令执行的时候,需要先到project目录,然后再执 ... -
用python分析nginx的access日志
2011-04-13 13:52 15074项目正式发布后,有需求要分析下nginx的access日志内容 ... -
(转)python 函数参数的传递(参数带星号的说明)
2011-03-18 15:09 1407转自 andylin02的博客 python中函数参数的传递 ... -
ConfigParser读取记事本修改后的配置文件出错问题解决
2010-12-23 10:42 13160使用ConfigParser来读取系统配置文件,当把py2ex ... -
把图片列表合成一个GIF动画图片
2010-12-14 10:04 2604import os from PIL import Im ... -
LOB variable no longer valid after subsequent fetch
2010-12-01 10:50 5551cx_oracle读取oracle wm_concate函数操 ... -
pydev打包后的程序运行报【没有找到 MSVCP71.dll】的错误
2010-11-19 11:44 1767今天把用pydev打包后的程序放到一台新的Windows 20 ... -
客户端机器TCP端口被占满导致mysql报Can't connect to MySQL server on 'computername' (10048)
2010-11-17 16:22 5602用python程序读取csv数据,然后通过MySQLdb模块插 ... -
Python WindowsError
2010-10-28 10:02 11144WindowsError: [Error 2] The sy ... -
PIL使用过程中的异常处理
2010-10-22 14:45 19543IOError: cannot identify image ... -
用python给文件夹下所有图片进行缩放处理
2010-10-20 17:17 6165#! /usr/bin/env python # -* ... -
http代理测速程序
2010-10-18 16:45 6408从网上找到很多代理地址,用来访问目标网站,访问目标网站速度不一 ... -
python连接oracle
2010-09-29 13:39 8240windows下使用python连接oracle(10.2.0 ... -
python处理csv数据
2010-09-26 15:33 37278import csv #从文件读取 reader ... -
windows下python包chardet安装说明&python第三方包安装卸载
2010-09-19 10:59 2650BeautifulSoup使用过程中需要使用到chardet来 ... -
用py2exe安装python windows服务
2010-09-17 16:29 5926使用模块:pywin32,py2exe #运行安装程序 ... -
Python generator和yield
2010-09-11 20:55 3709generator产生器:a Python generator ... -
python gc回收和性能优化
2010-09-11 20:31 2944psyco 脚本的执行效率多少有点差强人意,虽然优化 ... -
pydev插件配置
2010-09-07 17:08 2683通过 Eclipse 插件下载功能安装完成后, Pyde ...
相关推荐
Python 批量复制文件夹,不复制里面的内容 使用教学:https://blog.csdn.net/weixin_44291381/article/details/116229784
python脚本文件夹间复制,python脚本文件夹间复制,python脚本文件夹间复制
Windows 上的 xcopy 居然不可以实现 不覆盖文件复制文件夹 我用python实现了 参数 write_exists True: 覆盖 False: 不覆盖
在这个场景下,我们将探讨如何使用Python进行文件夹复制以及如何合并JAR(Java Archive)包。首先,我们来理解这两个概念。 文件夹复制是日常编程任务中的常见需求。Python提供了多种方式来实现这一功能,其中最...
文件夹下所有图片的读取以及显示(python程序) 本文将详细介绍如何使用 Python 程序读取文件夹中的图片,并将其显示出来。本文适用于图像处理的第一阶段,代码简单易懂,易于阅读和理解。 读取文件夹中的图片 在...
copytree()函数会将原始文件夹中的所有文件和子文件夹复制到目标文件夹中。 三、复制文件时解决文件冲突 在复制文件时,可能会出现文件冲突的情况,即目标路径中已经存在同名文件。为了避免文件冲突,可以使用 ...
文件夹复制涉及到递归,因为文件夹可能包含多个子文件夹和文件。这里我们需要使用Python的`os`模块来获取文件和文件夹信息,以及创建新的目录。以下是文件夹复制函数的实现: ```python import os def copy_mulu...
这里我们将深入探讨“文件夹复制”和“文件复制”这两个关键概念,以及相关的工具和技术。 首先,文件复制是指将一个或多个文件从源位置移动或复制到目标位置的过程。这个操作在各种场景中都非常常见,例如备份数据...
快速复制: 通过简单的命令,将源文件夹(A文件夹)中的内容一键复制到目标文件夹(B文件夹)。 自动压缩: 脚本会自动将复制的文件压缩成一个便捷的ZIP包,减小文件大小,方便传输与存储。 定时关机: 在复制和压缩...
在这个场景下,我们关注的是如何使用Python批量复制Word文档中的表格内容。这通常涉及到读取Word文件,解析其内容,特别是表格部分,并将这些内容复制或保存到其他地方。以下是两种可能的方法来实现这个目标: 方法...
复制远程服务器上的文件及文件夹到本地目录。 解释一下什么叫paramiko: paramiko是用python写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接。利用该模块,可以方便的进行ssh连接和sftp...
SCP(Secure Copy)是基于SSH协议的安全文件传输工具,它允许用户通过加密连接将文件从本地复制到远程主机或者反之。 在给定的例子中,我们看到一个Python脚本`3s.py`,它使用了`subprocess`模块来调用操作系统级别...
Python的ppcp是一个非常实用的命令行工具,它扩展了标准的`cp`命令,为文件和目录的复制过程增加了进度条显示。这个工具对于在大量数据转移时提供用户友好的体验尤其有用,因为它能让用户实时看到复制进度,而不是...
而本文主要关注的是如何使用Python的os模块和shutil模块来复制文件到指定的文件夹。这一过程不仅涉及到文件的读写操作,还包括了文件路径的处理以及复制过程中性能的优化。 首先,我们来看看基本的复制文件流程。...
按txt的文件夹名,批量复制到指定目录
运用python语言获取文件夹下文件名称,并写入到excel中,会用到xlrd,xlwt模块,如果没有的可以在我的资源里下。 这个代码能解决简单目录下的文件名称获取,如若发现问题欢迎及时提出~!
复制每个文件后,脚本检查该文件是否存在于目标文件夹中,以验证复制是否成 功。 5错误处理和日志记录: 如果复制过程中出现任何异常,脚本将捕获这些异常并将其打印到控制台,以便用 户了解发生了什么错误。 它会...
在编程环境中,如Java、Python、C#或Node.js,都有对应的API或库函数来实现文件夹复制。以Python为例,可以使用`shutil`模块的`copytree()`函数。这个函数接受源目录和目标目录作为参数,然后递归地复制整个目录结构...