|
锁定老帖子 主题：百万级数据能这么干
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2010-11-19
最后修改：2010-11-19
1) 月结的数据可以在每天导出到一个文件中（就是前一天的数据，这个数据总是不变了吧？），并且压缩，这样一个个文件下载到PC，每个文件不会很大
客户端处理也可以按日分别处理 2) 写U盘也按日处理，更新服务器也是按日处理 3) 这是需求问题 4) 6百个客户端直接连数据库服务器也没啥问题，就是要做好异常处理，比如连接断开了 5) “客户端和服务端都通过数据库作为状态的同步”这个确实不好，不过也行 |
| 返回顶楼 | |
|
发表时间：2010-11-20
tedeyang 写道 我做过的项目里有个与人民银行的数据交换，他们用的是分批次的纯文本（直接用c从数据库里导出来）。
譬如201003-1.txt,201003-2.txt... 每个文本控制在10M左右，ftp传输。 简单可靠。 这个也要控制整个过程不能出错 |
| 返回顶楼 | |
|
发表时间：2010-11-21
几百万的数据量不大，文件格式，采用ftp，很方便，这个没啥值得怀疑的lz
|
| 返回顶楼 | |
|
发表时间：2010-11-22
niumd 写道 几百万的数据量不大，文件格式，采用ftp，很方便，这个没啥值得怀疑的lz
传输没有问题。 但是整个过程要保证是不出错的，也就是事务回滚。 客户端的界面要展示1到2百万的数据，这个不行吧？ |
| 返回顶楼 | |
|
发表时间：2010-11-25
看半天，你只是说了对方的解决方案和方案缺陷，自己的具体业务需求是个啥也没说啊，到底要干嘛不知道，而且也没bt点的解决方案，基本上都是老一套+旧技术
|
| 返回顶楼 | |
|
发表时间：2010-11-25
1） 月结一百万甚至两百万的记录，能直接从服务上一次性拿到普通的PC机上面？
这不扯蛋吗？客户端要不程序死掉，要不内存溢出。服务器，广域网还不累个半死 100W数据一般的机器就可以了，以文本CSV传输，装到DB2中也就几秒吧 |
| 返回顶楼 | |
|
发表时间：2010-11-26
leemny 写道 看半天，你只是说了对方的解决方案和方案缺陷，自己的具体业务需求是个啥也没说啊，到底要干嘛不知道，而且也没bt点的解决方案，基本上都是老一套+旧技术
改天可以把我们的业务整理出来。和大家分享一下。 目前这么一些缺陷，很是头痛 |
| 返回顶楼 | |
|
发表时间：2010-11-26
lvzhaojun 写道 1） 月结一百万甚至两百万的记录，能直接从服务上一次性拿到普通的PC机上面？
这不扯蛋吗？客户端要不程序死掉，要不内存溢出。服务器，广域网还不累个半死 100W数据一般的机器就可以了，以文本CSV传输，装到DB2中也就几秒吧 数据库是SQL SERVER 2K的，网络是VPN组成的局域网，速度还可以。 此表有一百万甚至两百万的记录，此表是多用户使用的。比如我一个用户要把一百万的数据导出，如果导出成功，要对每一行数据进行更新。此时其它的用户会往此笔中些数据。那么会不会存在表锁的情况，导致其它的用户写入不成功或者写入的时间非常长？ |
| 返回顶楼 | |
|
发表时间：2010-11-26
hgq0011 写道 lvzhaojun 写道 1） 月结一百万甚至两百万的记录，能直接从服务上一次性拿到普通的PC机上面？
这不扯蛋吗？客户端要不程序死掉，要不内存溢出。服务器，广域网还不累个半死 100W数据一般的机器就可以了，以文本CSV传输，装到DB2中也就几秒吧 数据库是SQL SERVER 2K的，网络是VPN组成的局域网，速度还可以。 此表有一百万甚至两百万的记录，此表是多用户使用的。比如我一个用户要把一百万的数据导出，如果导出成功，要对每一行数据进行更新。此时其它的用户会往此笔中些数据。那么会不会存在表锁的情况，导致其它的用户写入不成功或者写入的时间非常长？ 事务如果长的话..... 很有可能会等待或超时 所以表最好就不改只查 分区的事交给log或其它表. |
| 返回顶楼 | |
|
发表时间：2010-11-30
过一段时间再来看看，最后咋整了
|
| 返回顶楼 | |
