`
lifei0327
  • 浏览: 33599 次
社区版块
存档分类
最新评论

mysql 海量数据导入

阅读更多
1, nohup 的使用是十分方便的,只需在要处理的命令前加上 nohup 即可,标准输出和标准错误缺省会被重定向到 nohup.out 文件中。一般我们可在结尾加上"&"来将命令同时放入后台运行
nohup /opt/lampp/bin/mysql -uroot -proot test_db <./20111108.sql &
https://www.ibm.com/developerworks/cn/linux/l-cn-nohup/


2, Mysql source命令在导入大数据时显得非常有用。虽然Mysql Administrator软件也不错,但就稳定性和效率性来说还是source占优。
使用方法:

首先设置环境变量,把Mysql的bin目录加入到Path环境变量中.
Windows下将sql数据库备份拷贝到磁盘目录如:D:\db.sql,cmd进入命令行,切换到sql文件所在的目录下。
1、先使用命令mysql -uroot -p登陆mysql服务器
2、然后执行相关命令导入数据。
mysql> use dbtest; //设置当前要导入数据的dbtest数据库
mysql> set names utf8; //设置编码
mysql> source D:\db.sql; //导入数据

3, 如果是mysql对mysql的数据迁移,直接压缩拷贝数据库数据文件是最快的方法。
备注:
拷贝数据库文件时,即冷备份时必须停掉服务,否则麻烦多多。
repair table table1
check table table1

chown -R nobody:nobody db1/
分享到:
评论

相关推荐

    datax数据从hive导入mysql数据缺失解决

    Hive 通常用于存储海量数据并进行批处理分析,而 MySQL 则用于存储结构化数据并提供快速查询服务。为了实现两者之间的数据交换,DataX 作为一种开源的数据同步工具被广泛应用。 #### 问题描述 在使用 DataX 将数据...

    海量数据的MySQL数据集

    在IT领域,数据库管理系统是数据存储和处理的核心,而MySQL作为一款开源、免费的关系型数据库管理系统,因其高效、稳定和易用的特点,在处理海量数据时备受青睐。标题提到的“海量数据的MySQL数据集”是一个专门针对...

    hbase海量数据的全量导入方法

    对于HBase的全量数据导入,尤其是从MySQL等传统关系型数据库进行迁移时,采用预分区、HFileOutputFormat、并行导入以及HBase参数优化等策略,可以显著提升数据导入的速度和效率。通过深入理解HBase的数据结构和...

    完整的上传,excel 导入mysql 数据库

    海量数据导入时,我们需考虑性能优化和数据库压力。一种常见的策略是分批导入,即将大量数据分割成小块,每次只导入一部分。这可以通过设置循环,在每次循环中处理一部分数据,然后提交到数据库。这样做可以避免一次...

    mysql中数据经处理导入到hbase中

    在将JSON数据导入HBase前,我们需要确定合适的表结构,包括列族(Column Family)、列限定符(Column Qualifier)以及行键(Row Key)的设计。行键是HBase中的唯一标识,选择一个恰当的行键设计对查询性能至关重要。...

    数据库大批量数据导入excle

    - **数据库自带工具**:许多数据库管理系统(如MySQL、SQL Server、Oracle)提供内置的数据导入功能,支持从CSV或Excel文件导入。 - **编程接口**:使用编程语言(如Python的pandas库,Java的JDBC,Python的...

    海量数据导入与导出MATLAB的有效方法.zip

    首先,了解MATLAB的数据导入函数至关重要。`readtable`和`readmatrix`是常用的两个工具,用于导入CSV、Excel等格式的数据。`readtable`适用于带有结构信息的数据,如列名和数据类型,而`readmatrix`则简化为只读取...

    C#在MySQL大量数据下的高效读取、写入详解

    同时,设置命令超时以防止在处理海量数据时出现超时。 ```csharp using (var conn = new MySqlConnection("Connection String...")) { conn.Open(); // 设置超时 var c = new MySqlCommand("set ...

    Navicat把csv数据导入mysql

    标题中的“Navicat把csv数据导入mysql”指的是使用Navicat这个数据库管理工具将逗号分隔值(CSV)格式的数据文件导入到MySQL数据库的过程。Navicat是一款支持多种数据库系统的图形化管理工具,包括MySQL,它提供了一...

    MySQL下海量数据的迁移步骤分享

    MySQL海量数据迁移是一项复杂且耗时的任务,尤其是当数据量达到6亿条记录时,传统的备份与恢复方法已经不再适用。因此,了解MySQL海量数据迁移的正确步骤和注意事项是至关重要的。 首先,我们来探讨一下MySQL的分区...

    批量数据导入

    不同的数据库管理系统(如MySQL、Oracle、SQL Server、MongoDB等)都有自己的数据导入导出工具和方法,例如MySQL的`mysqldump`和`LOAD DATA INFILE`命令,Oracle的`EXPDP`和`IMPDP`,以及SQL Server的`bcp`工具和`...

    C#如何在海量数据下的高效读取写入MySQL

    在处理海量数据时,C#与MySQL的交互成为了一个关键挑战。本文将探讨如何通过优化C#代码和数据库策略来实现高效的数据读取和写入。 首先,针对数据读取,有三种常见的方法: 1. **重型ORM框架**,如Entity ...

    批量导入数据,大数据导入

    Spark SQL可以方便地将结构化数据导入DataFrame进行处理。 3. **NoSQL数据库**:如MongoDB、Cassandra等,它们设计为处理大规模数据,提供批量导入工具,如MongoDB的`mongoimport`。 4. **ETL工具**:如Apache ...

    5、批量插入海量数据之Java插入MySql(csdn)————程序.pdf

    本文将探讨如何使用Java优化MySQL的批量插入性能,以应对海量数据挑战。 首先,理解基本的JDBC批处理机制至关重要。在Java中,可以通过Statement对象或PreparedStatement对象使用批处理功能。批处理允许我们将多个...

    豆瓣网海量数据存储架构

    ### 豆瓣网海量数据存储架构分析 #### 关于豆瓣 豆瓣网作为一个分享和发现书籍、电影、音乐等文化生活信息的用户生成内容(UGC)社区,自2005年4月上线以来,迅速成长为一个具有广泛影响力的平台。截至报告撰写时,...

    mysql-5.6.50-linux-glibc2.12-x86_64.tar.gz

    MySQL与Hadoop的集成是大数据生态系统中的重要一环,常见的方式有使用Hadoop的 connectors(如Hive或HBase)来查询和分析存储在MySQL中的数据,或者通过ETL(提取、转换、加载)过程将MySQL的数据导入到Hadoop集群...

    阿里巴巴海量数据场景下的OLAP列式数据库-HiStore.pdf

    通过列式存储、高效查询优化算法以及与MySQL生态的完美兼容,HiStore有效地解决了传统数据库在海量数据处理场景下的不足,为包括数据分析、用户画像、日志/轨迹记录以及监控数据仓库等在内的业务场景提供了强大的...

Global site tag (gtag.js) - Google Analytics