海量数据的处理方案

  请问有没有兄弟做过对海量数据的存储方面的项目，我的问题是，我有一张表，它每天的插入记录最少为10万条，目前还需要对以上的记录进行统计，目前我发现这种存储方式存在问题，可是有没有好的方案解决，请有这方面经验的兄弟给个方案。我很想知道银行和证卷方面是怎么处理这类数据的？？
   我也认为你的存储方式有问题，一张表每天插入记录最少为10万条，那样肯定会出问题的，即使出问题，速度也会很慢！你可以对表中的数据进行分析，然后想出一些分类的方法，把其中的数据拆分为多个表，如果太多可以放入不同的数据库中，甚至不同的服务器中，另外，这种海量存储的问题除了要对数据库重新设计之外，还要注意对Sql语句的优化，这同样的重要，实际上银行和证券行业也是在这两个方面来优化他们的系统的！
    希望以上回答对你有帮助！


    但是我想这种数据增量这么大,即使按照分类存储的方式做,将数据分表存储,退一步分数据库存储,这种方式最多支撑几个月时间，数据量就上来了，好象扬汤止沸，如何提供一种永久性或者支撑两年（两年时间我们可以给用户一个交代）时间，我考虑过类似于磁带机那种方案，定期数据统计，统计数据进行物理备份，然后在删除数据，这样不知道是否可行，单就存储方面讲，SQL SERVER2005单表存储可以达到7T（据微软公司讲），所以考虑关键是统计问题。

不知道你业务如何？
建议你将每天的数据放到一个临时表Tmp_table中，在服务器做一个服务后台去把数据加入到正式表中，并进行数据统计功能，将统计结果放入到另一个表中table_count

这样就可以将大表分开处理了。

海量数据一次性处理是比较麻烦的，各种小东西都会被放大。