|
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2011-11-25
分表，分区都可以，要不然目前噩梦搞定了，以后还会有更多的噩梦出现的。
牢骚一下，一提到数据挖掘就想起hadoop~~~，哈哈。 |
| 返回顶楼 | |
|
发表时间：2011-11-25
做分表区，加并行，加append,表改为nologging,关闭索引。
|
| 返回顶楼 | |
|
发表时间：2011-11-25
针对大数据量的数据导入时，千万不要update，用select、insert及临时表搞定，这样速度会很快， 本人之前用过update，浪费过一个小时 |
| 返回顶楼 | |
|
发表时间：2011-11-25
为什么不适用成熟的ETL工具呢？速度更快！
|
| 返回顶楼 | |
|
发表时间：2011-11-25
1、大數據量導入，一般是要關閉索引的，海量的話，通常更要關閉log；
2、一定要盡快入庫，盡量嫑在入庫前做處理。 3、蘭州的場景，俺覺得用sqlloader就可以鳥，簡單，可靠，性能高。。。 |
| 返回顶楼 | |
|
发表时间：2011-11-25
大数据量导入正确的做法应该先导删除索引，待数据导完后再创建索引。
这是流程。。。 |
| 返回顶楼 | |
|
发表时间：2011-11-25
我们处理大数据量，oralce存存关系型数据，大概在千万级别。mysql存大文本数据(每条记录大概1.5k左右，亿级别的数据量，分布式存储，sphinx建索引)实现全文检索，速度还是蛮理想的！
|
| 返回顶楼 | |
|
发表时间：2011-11-25
支持sqlldr
|
| 返回顶楼 | |
|
发表时间：2011-11-25
真是“成也索引败也索引”。大数据量导入正确的做法应该先导删除索引，待数据导完后再创建索引。
永远记住了 |
| 返回顶楼 | |
|
发表时间：2011-12-01
最后修改：2011-12-01
大数据量导入正确的做法应该先导删除索引，待数据导完后再创建索引,
如果是先要查询那个索引列 然后在根据查询结果再插入呢 先删除索引 在导入数据 待数据导完后再创建索引，这样的做法就行不通了吧 |
| 返回顶楼 | |
