-
大量图片如何设计服务器的文件存储系统？5
对这方面不太懂，标题可能取得不太还。
说一下具体情况，现在设立的独立的图片服务器，现在图片数量较少。总共2w多，每张图片大概有10个不同尺寸的缩略图，总共20几w个文件，全部存在一个文件夹里面。
现在有一批图片上来，大概50w，加上缩略图就是500w的文件数量，现在如何做文件系统是个问题，不能存在一个文件夹里面。
肯定是按照一定的规则分散存在不同的文件夹里面，通过nginx或后台的tomcat判断文件的所在文件夹。
这些是我能想到的，不知道还有什么比较好的解决方案，望大牛们指导或推荐资料，对这个领域不同熟悉、
小弟分不多。拜谢~~2012年9月25日 13:03
添加评论
关注(0)5个答案 按时间排序 按投票排序
-
采纳的答案
受jinnianshilongnian和hz020815的启发，你也可以这样，按照年/月/UUID这样来存放，每次上传分配一个随机的UUID，然后算出是哪个服务器，以及现在日期，对应路径，这些信息都存到数据库里面，主键就是这个UUID
也可以参考我上面的那个回答，两个回答的前提如下：
如果有钱，并且很可能会很多的图片，那就分布式存储，用我的第一条回答；
如果没钱，或者根本达不到这样大的量，还是一台专用的文件服务器好了，用我的第二条回答2012年9月25日 17:31
-
我觉得按那种形式分文件肯定得看你的业务内容，从时间的纬度进行拆分是否符合你的业务要求，如果你是一个电子商务中的图片，按时间纬度划分是否维护起来不太方便？如果图片经常改动，那你是否还需要对图片的迁移？是否需要对图片的高密度的读取？
为考虑以后图片的继续增多，是否可以考虑分布式存储，重点的重点就是你的hash，根据你具体的业务进行划分。2012年9月25日 17:52
-
1、可以按照 年/月/日 存
2、现在有一批图片上来，大概50w 可以将其分布到过去一年的年/月/日 目录中 50w/365 每个目录1000多个2012年9月25日 14:36
-
不要放一个目录，根据图片的hashkey分地方存储
最有效的可以把你数量级迅速降低2个数量级
降低2个数量级以后，相信稍微烂点也没问题了2012年9月25日 13:44
相关推荐
分布式文件存储系统是一种高效、可扩展的解决方案，用于处理大量数据。Java实现的分布式文件存储系统，如"ctjdfs"，提供了一种在多台服务器之间分散存储、管理和访问文件的方法，从而解决了单点存储的性能瓶颈和容错...
**二、服务器系统设计** 1. **HIS系统服务器** HIS系统需要处理大量的诊疗和管理信息，对CPU的浮点运算能力有较高要求。因此，计划配置2台安腾服务器，每台配备32GB内存（支持热插拔）和4块硬盘，使用RAID 0+1阵列...
FastDFS是一款专为互联网设计的轻量级开源分布式文件系统，它的主要目标是解决大容量文件存储和高并发访问的问题。作为一个高效的文件服务解决方案，FastDFS广泛应用于各种以文件为主要内容的应用场景，如图片分享...
本项目是基于MinIO实现的一个文件服务器，集成了SpringBoot框架，非常适合初学者快速上手文件存储和预览功能。 在文件服务器中，MinIO作为核心组件，提供了高可用、高性能的存储服务。它支持分布式部署，可以扩展到...
分布式文件系统允许多个客户端并发访问存储在同一物理或虚拟存储资源中的数据，它能够在多台计算机之间分布存储大量数据，提供数据冗余、高性能、可伸缩性和可靠性等优势。 首先，分布式文件系统可以分为几个主要...
本项目的存储系统设计，融合了纯闪存技术与SAN架构，旨在解决传统硬盘存储系统在性能上的瓶颈，尤其是在读写延迟、I/O吞吐量以及能效比方面。系统设计中可能包含了以下几个关键技术点： 1. 闪存管理：包括闪存的写...
5. Windows Server系统文件服务器代码：这部分代码是专为Windows操作系统设计的。可能使用了IIS（Internet Information Services）作为Web服务器，或者基于.NET Framework开发的自定义服务来实现文件的上传和下载...
在实际应用中，块存储典型设备如磁盘阵列、硬盘和虚拟硬盘，文件存储常见于FTP、NFS服务器等，而对象存储则常内置在分布式服务器中，如具有大量硬盘的服务器集群。分布式存储系统则根据接口的不同，分为对象存储、块...
本文将分析并比较几种常见的文件服务器方案，包括无独立图片服务器、单一独立文件服务器、分布式文件系统以及商业云服务器。 1. 无独立图片服务器：这种方案在Tomcat目录下直接存放图片，简化了实现过程，无需额外...
在信息技术领域中，分布式文件存储系统作为处理大量数据并提高存储效率的一种技术手段，已经广泛应用在多个行业中。高速公路视频监控系统作为信息量庞大的典型应用场景，对其存储系统的设计尤为关键。本文以高速公路...
标题 "delphi做的文件上传下载服务器端" 描述了一个使用Delphi编程语言开发的服务器程序，该程序专门设计用于处理文件的上传和下载功能。在IT领域，这样的系统通常涉及网络编程、多线程和并发处理，以确保能有效地...
### 分布式存储系统中文件传输优化的设计与实现 #### 摘要 在现代信息技术领域，分布式存储系统因其能够有效提升数据处理能力和系统可靠性而备受关注。然而，在实际应用中，尤其是广域网环境下，如何高效地进行...
10. **性能优化**：对于大量文件的管理系统，性能优化是必不可少的，可能包括文件的分布式存储、缓存策略、数据库索引优化等。 11. **用户体验**：良好的用户界面和交互设计能提升用户体验，包括清晰的导航、友好的...
3. **存储管理**：服务器需要有效管理存储空间，包括文件的存储位置、冗余备份以及垃圾文件清理。文件分类和目录结构的合理设计有助于用户快速定位文件。同时，定期的文件备份和存储优化可以防止数据丢失，并优化...
文件服务器在IT行业中扮演着至关重要的角色，尤其对于企业而言，它能有效地管理和分享大量数据。"文件服务器服务器端"是指在服务器上运行的软件，用于处理和存储来自多个客户端的文件请求，实现数据共享、协作和备份...
分布式文件监控系统的设计与实现涉及了当前信息化社会中的重要技术领域。随着互联网企业的发展和服务器数量的激增...这些技术选择对于系统设计至关重要，它们共同构建了系统的基础架构，确保了系统的高性能和高可用性。
1. **服务器ID替换**：将图片服务器的IP信息存储为系统全局参数的ID，这样IP变更只需更新ID，而不会影响大量参数。 2. **IP映射**：对于使用路由器IP映射的项目，需要公开映射信息给客户端，让客户端自行转换IP和...
【标题】：“毕业设计：基于Python+Fastdfs的分布式文件存储系统” 【描述】：“计算机毕设源码”通常指的是学生在完成计算机科学或相关专业毕业设计时编写的代码，这个项目选择了Python语言与Fastdfs作为核心技术...
5. 存储优化：例如，使用数据库存储文件元数据，或者使用云存储服务来分发和管理大量图片。 在提供的文件列表中，`update.asp`可能是处理图片上传和更新操作的ASP页面，`index.asp`可能是系统的首页，展示上传界面...
1. **高可用性**：通过在多个服务器之间复制文件，即使某个服务器出现故障，用户仍然可以从其他服务器访问文件，从而提高了系统的可用性。 2. **负载均衡**：DFS 可以自动将文件请求分配给不同的服务器，从而减轻...