`
cguang
  • 浏览: 624 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

python脚本处理文件到数据库

 
阅读更多
#!/usr/bin/python
# -*- coding:gb2312 -*- 
import glob, os, MySQLdb, sys

class M(type):  
    def __new__(cls, name, bases, classdict):  
        for attr in classdict.get('__slots__', ( )):  
            if attr.startswith('_'):  
                def getter(self, attr=attr):   
                    return getattr(self, attr)  
                def setter(self, val=0, attr=attr):  
                    return setattr(self, attr, val)  
                classdict['get' + attr[1:]] = getter  
                classdict['set' + attr[1:]] = setter  
        return type.__new__(cls, name, bases, classdict)

def save_person(con, person):
	try:
		cursor = con.cursor( )
		# Execute an SQL string
		sql = "insert into juzhai2(id,age,address,constellation,work) values(" \
									+ person.getid() + ",'" + person.getage() + "','" + person.getaddress() + "','" \
									+ person.getconstellation() + "','" + person.getwork() + "')"
		print sql
		cursor.execute("SET NAMES 'gbk'")
		cursor.execute(sql)
		# Fetch all results from the cursor into a sequence and close the connection
		results = cursor.fetchall( )
	finally:
		cursor.close()


class Person(object):  
    __metaclass__ = M  
    __slots__ = ['_id', '_age' ,'_address','_constellation','_work'] 

def all_files(pattern, search_path, pathsep=os.pathsep):
    """ Given a search path, yield all files matching the pattern. """
    for path in search_path.split(pathsep):
        for match in glob.glob(os.path.join(path, pattern)):
            yield match

def parse_file(afile):
	pass

reload(sys)
sys.setdefaultencoding('utf-8')  

print sys.getdefaultencoding()
# Create a connection object, then use it to create a cursor
con = MySQLdb.connect(host="127.0.0.1", port=3306, 
    user="root", passwd="ning", db="test",charset='utf8')

files = all_files("*.txt",r"D:\program\juzhai");
for f in files:
	id = f.split('\\')[-1].split('.')[0]
	file_object = open(f)
	try:
		all_the_text = file_object.read( ).split(' ')
		p = Person()
		p.setid(id)
		p.setage(all_the_text[0])
		p.setaddress(all_the_text[1])
		p.setconstellation(all_the_text[2])
		p.setwork(all_the_text[3])
		save_person(con, p)
	except IndexError, e:
		print '/nSome error/exception occurred.'
		print e
		continue
	finally:
		file_object.close( )

con.commit()
con.close( )
分享到:
评论

相关推荐

    python连接mysql数据库脚本工具

    在`exe_python_sql`这个压缩包文件中,可能包含了实现上述功能的Python脚本或者相关示例。通过对这个文件进行解压和研究,你可以更深入地了解如何在实际项目中使用Python连接MySQL数据库,执行各种数据库操作。 ...

    Spotfire的python脚本对数据库的调用_spotfirepython_

    在这个主题中,我们将深入探讨如何使用Spotfire的Python脚本功能来调用和操作数据库。 首先,了解Spotfire的Python脚本环境。在Spotfire中,你可以通过“分析”菜单选择“编辑脚本”来访问Python脚本编辑器。这里,...

    python定时备份mysql数据库脚本

    本篇将详细解释如何使用Python编写一个定时备份MySQL数据库的脚本,以及如何通过代码实现仅保留最新几个备份文件的功能。 首先,我们需要了解Python中的两个关键库:`pymysql` 和 `schedule`。`pymysql` 是Python...

    python3实现sqlserver数据库和文件异地备份

    Python3写的脚本,windows上应用的,实现服务器上的数据库通过磁盘映射备份到本地其他机器上的共享文件夹中,服务器上指定文件夹下的文件也备份到指定共享文件夹中,并发邮件通知

    python数据库编程:Python连接Mssql基础教程之Python库pymssql.pdf

    【Python连接MSSQL数据库】Python的pymssql库提供了与Microsoft SQL Server数据库进行交互的能力。pymssql作为专门针对SQL Server的接口,允许...通过理解这些基本操作,你可以编写出处理各种数据库任务的Python程序。

    PHP、Python、Ruby的(数据库、文件)比较(原创)

    本篇文章将深入探讨三种流行的脚本语言——PHP、Python和Ruby在处理数据库和文件操作方面的差异与特点,以帮助开发者更好地理解它们各自的优势。 首先,PHP(Hypertext Preprocessor)是一种广泛用于Web开发的语言...

    Python的Flask框架与数据库连接的教程

    最后,教程强调了在学习Flask与数据库连接的过程中,理解命令行执行Python脚本、配置数据库连接、使用Flask-SQLAlchemy进行ORM操作、以及进行数据库迁移的重要性。通过本教程,开发者可以掌握Flask Web应用开发中...

    Python-一个PostgreSQL数据库迁移工具

    它简化了数据库模式迁移的过程,通过编写SQL脚本或Python代码来定义数据库的变更。pgmigrate的核心特性包括: 1. **易于使用**:pgmigrate提供了一套简单的命令行接口,让开发者可以轻松地创建、上载和应用迁移。 2...

    python自动备份mysql数据库,并删除七天前文件

    由于Python脚本更便于处理文本,所以我们通常会选择逻辑备份,即使用`mysqldump`。在Python中,可以通过`subprocess`模块来调用这个命令行工具。 接下来,我们需要编写一个Python脚本来执行以下任务: 1. 连接MySQL...

    毕业设计,基于Python+Django+MySql开发的二手车爬虫数据可视化分析,内含Python完整源代码,数据库脚本

    毕业设计,基于Python+Django+MySql开发的二手车爬虫数据可视化分析,内含Python完整源代码,数据库脚本 基于Python的二手车爬虫数据可视化分析设计毕业源码案例设计 程序开发软件:Pycharm 数据库:mysql 现在...

    Python脚本与农村集体土地使用权数据库建设.pdf

    例如,针对图形库建设中的数据格式转换、数据处理、空间矢量数据检查与编辑、数据入库和数据库维护等功能,Python脚本都可以提供相应的辅助。对于扫描件库的建设,Python脚本能够帮助整理扫描件,使其符合标准格式,...

    python服务器资源、服务巡检脚本 输出到execl标红

    输出到execl标红”表明这是一个使用Python编写的自动化脚本,它的主要功能是对服务器的资源使用情况和服务状态进行定期检查,并将检查结果导出到Excel文件中,其中存在问题或故障的部分会以红色高亮显示,便于快速...

    【Java与Python实现】最实际与高效生成数据库高级声明式SQL脚本神器研发

    总的来说,研发这样一个“数据库高级声明式SQL脚本神器”需要结合Java和Python的强大能力,充分利用它们的库和API,同时结合良好的软件工程实践,如模块化设计、错误处理和测试。通过这样的工具,开发者可以更专注于...

    python脚本,根据excel数据自动创建mysql库、表-并更新数据

    python3.7.4版本,文件包含excel文件和py文件。 py文件中需要手动设置excel字段在mysql中的类型、index索引及写入时校验的字段。(搜索*查找对应的位置) 执行py文件,若不存在数据库及表会自动创建,并写入数据...

    Python-通过Python脚本自动巡检网络设备

    在提供的`Auto_Check_network_equiments-master`文件中,可能包含了实现以上步骤的Python脚本、配置文件、日志记录以及可能的样例输出。通过查看源代码,我们可以学习到如何组织和实现这样一个网络巡检系统。此外,...

    使用Python脚本将 CSV 加载到 SQLite 数据库的脚本(带有类型推测)

    使用Python脚本将一个csv文件转换存储到Sqlite数据库中,适合会python脚本,并且想处理csv文件的朋友,然后将csv文件存储到数据库中进行检索查询等,提高工作效率

    Python脚本实现自动将数据库备份到 Dropbox

    在本文中,我们将探讨如何使用Python脚本来实现自动备份MySQL数据库并将其安全地存储到Dropbox云存储服务上。这个过程对于任何依赖数据库的系统来说都是至关重要的,因为数据丢失可能导致严重后果,正如GitLab事件所...

    python备份mysql数据库

    通过理解这些知识点,我们可以构建一个完整的流程,即使用Python脚本连接到MySQL服务器,调用mysqldump工具生成SQL备份文件,然后可能使用7z进行压缩,最后将备份文件存储到指定位置。同时,配置文件如`config.ini`...

    Python操作Excel生成数据库定义。

    在IT行业中,Python作为一种强大的脚本语言,广泛应用于数据处理和分析任务,其中包括与Excel文件的交互。这篇博文“Python操作Excel生成数据库定义”探讨了如何利用Python来读取、处理Excel文件,并根据这些数据...

    Python脚本实例

    在这个名为"Python脚本实例"的压缩包文件中,我们可能会发现一个用于数据库逻辑记录备份的Python脚本,这在数据管理和保护方面至关重要。定时操作的特性使得这个脚本能够在特定时间自动执行,确保数据的定期备份,...

Global site tag (gtag.js) - Google Analytics