电子商务网站数据处理相关算法

问题:电子商务网站随着时间的增长，数据会越来越多，但是对于一个网站来说，硬件对数据的承载量是一定，对于出现的问题我们应该如何处理

 

 

1：增加硬件，通过扩容的方式去解决这些问题（主要从俩个方面，一个应用服务器，一个数据库服务器）

 

但是具体的方式要通过日志分析，是什么环节出的问题，

如果服务器的并发的问题，增加前端的处理能力（通过集群方式去解决）

如果是数据库的问题

• 增加内存服务器，减少对数据库的访问
• 对数据库相关参数调优
• 数据库的集群

 

 

 

2：删除数据

 

原因：如果数据量太大的原因，可以考虑删除以下类型的数据

1. 删除长时间没用用户管理的数据（同类型数在数据库中存在）
2. 删除有敏感字，违法的信息，或与网站数据类型不符合的数据（比如五金网站有订票的信息）
3. 删除长时间内点击量偏低的数据（同类型数据必须在数据库中存在）
4. 删除信息不完整的数据（所发的信息格式不完整，而且长时间没有人维护）

上述信息在删除时，先要时进行逻辑删除，用邮件通知相关用户，如果在一定时间没有回复的，进行物理删除

 

 

注：如果以上的信息被搜索引擎已收录，它在通过URL找过来时候找不到数据，这样可能会对网站的权重有影响

所以在删除时的时候，对于（1，3，4）类型的数据做数据关键字段的备份，这样在通过URL找过来时可以通过关键字段找到相关的信息进行展示

 

3：分表存储

 

对大数据量的表进行分表，可以按时候，或别的分类法则

 

主表和副表

原则

 

4:备份式存储

 

数据的归档的处理，按不同的标准进行数据的归档

 

比如果按时间存储，一个年的数据就会归到另一个库中