向搜索引擎说NO

如果你的网站有MP3等音频文件的话，你可能会遇到被强行收录的问题，可恶的mp3引擎；
我们的服务器本来就很慢，又他们的下载我们就傻了。
解决办法:
写robot.txt：
如：

Quotation

#
# d-fone.com
#
User-agent: *
Disallow: /control/
Disallow: /userfiles/　

比较大的搜索引擎（百度、新浪、雅虎）还是比较挺文明的，他先访问你网站的robot.txt;　看看那个是可以访问的，然后爬虫才会去收录；

2.用apache的Rewrite的功能，类似如下

  ##Apache Rewrite
  RewriteEngine On
  RewriteCond %{HTTP_REFERER} !^http://d-fone.com/show/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://www.d-fone.com/show/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://d-fone.com/bao/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://www.d-fone.com/bao/.*$ [NC]
  RewriteRule .*\.(mp3|mp4|wav|wma|mid|wmv|avi|3gp|flv|mpeg4|rm|rmvb|bmp|sis|sisx|tsk|jar|cab|zip|rar|hme|exe|nth)$ http://www.d-fone.com/userfiles/d-fone.com.txt [R,NC]