上周做mysql的数据同步遇到的问题记录如下:
将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load;
使用shell的split解决这个问题:split -d -l
再分别将小文件load即可
u010815305
- 浏览: 30152 次
- 性别:
- 来自: 北京
-
最新评论
-
u010815305：
多说一句，这个差不多1000多万行的数据，在hive上处理时间 ...
我迄今为止写的最长的SQL
相关推荐
12. `split` 命令：将大文件分割成小文件，通常用于处理大数据。 13. `nl` 命令：在输出文件内容时添加行号，方便查看和分析。 14. `sed` 命令：流编辑器，可以对文本进行替换、删除、插入等操作。例如： - `sed ...
split 用于将大文件分割成小文件。 - **基本语法**：`split [选项] [输入文件] [前缀]` - `-b`：指定分割后文件的大小。 - `-l`：指定分割后文件的行数。 ### 三、其他知识点概述 除了上述重点内容外，课程还...
26. **split**：将大文件分割成小文件。 27. **mv**：移动或重命名文件和目录。 28. **vim**：强大的文本编辑器，有命令模式、插入模式和末行模式。常用操作包括：`gg`跳转到文件首行，`G`跳转到文件尾行，`/`搜索...
- 将文件分割成小文件。 - **4.2.13 mv** - 移动或重命名文件。 ##### 4.3 文件压缩与解压缩 - **4.3.1 zip/unzip** - 压缩和解压缩.zip文件。 - **4.3.2 gzip/gunzip** - 压缩和解压缩.gz文件。 - **4.3.3 ...
- **split**: 将大文件分割成小文件。 ##### 2. 文件编辑器 - **vi/vim**: 高级文本编辑器，适用于编写代码或进行复杂的文本编辑任务。 - **nano**: 用户友好的文本编辑器，适合初学者使用。 #### 四、进程管理 #...
34. **`split`** - 将大文件分割成小文件，适用于处理大文件。 36. **`login`、`logout`** - 登录和注销系统，管理用户会话。 37. **`exit`** - 退出Shell或应用程序，结束当前会话。 38. **`man`、`info`** - ...
- `split`：将大文件分割成小文件。 - `rmdir` 和 `rm`：删除目录和文件。 - `mv`：移动或重命名文件和目录。 - `more`：查看文件内容，分页显示。 以上只是部分Linux指令的简介，实际上，Linux指令系统非常庞大且...
- **split**：将大文件分割成小文件。 #### shell脚本基础 Shell脚本是自动化任务的强大工具。它允许用户通过一系列命令行指令来执行复杂的操作。Shell脚本的基础包括： - **变量**：用于存储数据的占位符，支持...
50. **split**：将大文件分割成小文件。 51. **join**：合并两个已排序的文件。 52. **comm**：比较两个已排序的文件。 53. **date**：显示或设置系统日期和时间。 54. **cal**：显示日历。 55. **bc**：交互式...
- 将大文件分割成小文件。 - **合并文件**：`paste` - 将多个文件合并成单个文件。 - **文件连接**：`join` - 连接两个文件的列。 - **文本搜索**：`grep` - 在文件中搜索指定的模式。 - **去除重复行**：`uniq`...
- **split <源文件> [目标文件名前缀]**：将大文件分割成小文件。 - **cat <文件名>**：合并多个文件并打印到标准输出。 - **sort [-o<输出文件>][-t<分隔字符>][+<起始字段>-<结束字段>] [文件]**：排序文件内容。 ...
- `split`：将大文件分割成小文件。 - `paste`：合并多个文件的行。 - `sort`：对文件内容进行排序。 - `uniq`：去除连续重复行。 - `wc`：计算文件的字数、词数和行数。 - `iconv`：转换文件编码。 - `file`...
- **`split`**: 将大文件分割成小文件。 #### 使用者管理 - **`adduser`**: 添加新用户。 - **`su`**: 切换到另一个用户。 - **`sudo`**: 以超级用户或其他用户身份运行命令。 #### 起始管理 - **`halt`**: 关闭...
- **功能说明**: 将大文件分割成小文件。 **29. paste** - **命令**: `paste [文件]...` - **功能说明**: 按行合并多个文件的内容。 **30. sort** - **命令**: `sort [选项] [文件]` - **功能说明**: 对文件中的行...
- **split**: 将大文件分割成小文件。 - **paste**: 合并多个文件的列。 - **join**: 将两个文件的行根据指定列进行合并。 - **grep**: 在文件中搜索匹配的行。 - **uniq**: 过滤连续重复的行。 - **tr**: 转换或...
- **应用场景**：从网络上快速下载大文件。 27. **badblocks (查找磁盘中损坏的区块)** - **用途**：扫描硬盘寻找坏块。 - **应用场景**：硬盘健康检查。 28. **base64 (base64编码/解码文件或标准输入输出)** ...
- **split：** 将文件分割成小文件。 - **cat：** 显示文件内容。 - **sort：** 对文件内容进行排序。 - **more：** 分页查看文件内容。 - **diff：** 显示两个文件之间的差异。 - **cksum：** 计算文件的校验和。 ...