由QQ文件中转站超快速上传联想到

今天向QQ文件中转站上传了两个文件，一个30M，一个60M，都发现上传时间仅为1s，

猜想了一下，这里应该是有算法的，如果服务器上以及同样的文件了，就不需要用户再上传，而是直接给出文件链接，这样既减轻了服务器压力，又给用户带来惊喜，真的很不错！

 

然后又联想到，难怪用QQ文件中转站的时候，要求装个客户端，说是能加速文件上传，这个浏览器插件说不定就是用MD5或者CRC32算出上传文件的key值，然后做个ajax请求，如果发现服务器上该文件存在，用户就不需要上传了。

 

 

评论

7 楼 jacky.jihao 2009-02-24  

zhouzhao21 写道

hetylei 写道
amcucn 写道你上传的文件只有1s,不可思议?就算是做了对比,我想也不可能算出两个文件是否是相同的.如果计算两个文件完全相同?按大小?文件名?应该是可以的 文件内容MD5+文件长度这样应该不可以吧。我 google 了一下：http://oss.lzu.edu.cn/blog/article.php?tid_1737.html这上面讲 md5 有可能发生碰撞。不过如果可以的话确实能够提高效率。关注。希望大家能给出更详细的分析。

产生MD5 checksum相同的文件，的确是可能的，http://en.wikipedia.org/wiki/MD5

不过我们可以借助其他一些信息+checksum 来判断是否同一文件，比如文件名，修改日期等等，这个还是很容易的，再说也不能肯定QQ文件中转站它的实现是不是100%能识别文件是否一样，说不定也只是识别了部分呢，一些不太肯定的，它就不认为是一样的文件。

要想测试这个也简单，hack出两个checksum一样的文件，但是是不一样的文件，然后传到QQ中转站测试一下嘛，思路就是这样，谁有兴趣的自己玩吧

要想知道QQ文件中转站实际上是怎么实现的，只有问腾讯QQ文件中转站的开发人员了

6 楼 zhouzhao21 2009-02-23  

hetylei 写道

amcucn 写道你上传的文件只有1s,不可思议?就算是做了对比,我想也不可能算出两个文件是否是相同的.如果计算两个文件完全相同?按大小?文件名?应该是可以的 文件内容MD5+文件长度

这样应该不可以吧。我 google 了一下：
http://oss.lzu.edu.cn/blog/article.php?tid_1737.html
这上面讲 md5 有可能发生碰撞。不过如果可以的话确实能够提高效率。关注。希望大家能给出更详细的分析。

5 楼 jacky.jihao 2009-02-18  

hetylei 写道

amcucn 写道
你上传的文件只有1s,不可思议?就算是做了对比,我想也不可能算出两个文件是否是相同的.如果计算两个文件完全相同?按大小?文件名?应该是可以的 文件内容MD5+文件长度

我之前也不太了解，这个到底怎么实现，但是印象中有这个东西，后来用google学习了一下文件的checksum，然后写了个md5sum命令的python版本

如何用python生成文件的md5 checksum值

4 楼 hetylei 2009-02-18  

amcucn 写道

你上传的文件只有1s,不可思议?就算是做了对比,我想也不可能算出两个文件是否是相同的.如果计算两个文件完全相同?按大小?文件名?

应该是可以的 文件内容MD5+文件长度

3 楼 jacky.jihao 2009-02-16  

比较文件是否一样的算法肯定不难实现吧。

BTW：我传的是这两个文件，一个是NDSL的Moonshell，另一个是NDSL的游戏Mario&Luigi RPG


Moonshell2_lrc_v090216.rar
下载   续期   发送   删除    11.43M   完成  0次  7天  


  3369_-_Mario_and_Luigi_RPG_3_JPN_NDS-XPA.zip
下载   续期   发送   删除    61.29M   完成  1次 

2 楼 amcucn 2009-02-16  

你上传的文件只有1s,不可思议?就算是做了对比,我想也不可能算出两个文件是否是相同的.如果计算两个文件完全相同?按大小?文件名?

1 楼 metaphy 2009-02-13  

你传的2个是什么