机器配置
2颗cpu,每颗cpu是4核,
Intel(R) Xeon(R) CPU
E5606 @ 2.13GHz 内存是8G
——————————————————————————————————–
测试场景1
单线程 平均写入时间是86毫秒 乱序跑了11个小时,写入了 28万个文件,平均文件大小是700K,写入了230G文件大小,硬盘总大小230G,平均cpu 10%
——————————————————————————————————–
测试场景2 50线程 平均写入时间是3300毫秒 乱序跑了11个小时,写入了 29万个文件,平均文件大小是700K,
写入了230G文件大小,硬盘总大小230G,平均cpu 10%
——————————————————————————————————–
3 测试场景3 50线程,10个storeage,非同组, 平均写入时间是3362毫秒 程序跑了12个小时,写入了 488758个文件,平均文件大小是700K,
写入了500G文件大小,硬盘总大小800G,平均cpu 10%
——————————————————————————————————–
测试场景4 100线程 平均写入时间是7秒 乱序跑了11个小时,写入了 30万个文件,平均文件大我、
是700K,
写入了230G文件大小,硬盘总大小230G,平均cpu 19%
——————————————————————————————————–
4 测试场景4 200线程 平均写入时间是7秒 乱序跑了11个小时,写入了 30万个文件,平均文件大小是700K,
写入了230G文件大小,硬盘总大小230G,平均cpu 19%
测试场景5 300线程 平均写入时间是7秒 乱序跑了11个小时,写入了 30万个文件,平均文件大小是700K,
写入了230G文件大小,硬盘总大小230G,平均cpu 19%
——————————————————————————————————–
优化场景1
调整strotreage的 work_threads=8 改成了84毫秒,看来还是没有质的提升,是不是修改的不够大导致的,那么再加大
work_threads=24,直接是83秒了的,
work_threads=100,直接是83秒了的,也是83毫秒,没有质的提升
——————————————————————————————————–
优化场景2
把 storeage的work_threads 改成8,同时客户端改成8个线程做,平均时间 1015毫秒
把 storeage的work_threads 改成8,同时客户端改成32个线程做,平均时间 2112毫秒
把 storeage的work_threads 改成16,同时客户端改成32个线程做,平均时间 2105毫秒
把 storeage的work_threads 改成100,同时客户端改成32个线程做,平均时间2174毫秒
把 storeage的work_threads 改成100,同时客户端改成64个线程做,平均时间4367毫秒
把 storeage的work_threads 改成100,同时客户端改成100个线程做,平均时间7000毫秒
结论:work_threads 的线程数组,对于性能的优化没有什么用处。
——————————————————————————————————–
优化场景3
把 storeage的work_threads 改成4,同时客户端改成50个线程做,平均时间 1015毫秒
分享到:
相关推荐
在这个场景中,"fastdfs客户端单元测试"是针对使用FastDFS的Java客户端进行的功能验证和性能评估。 FastDFS客户端在Java中的实现提供了丰富的API接口,用于文件的上传、下载、删除等操作。单元测试是确保这些接口...
根据测试结果,FastDFS在测试服务器上的上传并发性能限制在250个并发,下载并发性能限制在200个并发。而在生产服务器上,尽管硬件配置更高,但实际并发能力并未显著提高,这可能受到网络、FastDFS配置、服务器其他...
1. 连接管理:FastDFSClient会管理与FastDFS服务器的连接,包括建立TCP连接、心跳检测、连接池管理等。这涉及到网络编程的基础知识,如Socket编程和线程安全的连接管理。 2. 文件上传:客户端通过调用上传接口,将...
FastDFS是一款开源的高性能、轻量级的分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题。在本教程中,我们将详细探讨如何利用...
3. **测试FastDFS+nginx集成** - 使用FastDFS客户端上传文件,观察文件是否成功存储到Storage Server - 通过Nginx访问上传的文件,验证文件能否正确通过Nginx返回 4. **优化与扩展** - 负载均衡:可以通过配置多...
7. **测试FastDFS** 上传文件到FastDFS,通过浏览器访问Nginx,验证文件是否能正确通过HTTP服务被访问。如果一切正常,那么FastDFS的安装和配置就成功了。 8. **监控与维护** 需要定期检查FastDFS的服务状态,...
六、测试FastDFS功能 1. 文件上传:使用`fdfs_upload_file`命令将本地文件上传至FastDFS服务器。 2. 文件下载:使用`fdfs_download_file`命令从FastDFS服务器下载文件。 3. 文件删除:使用`fdfs_delete_file`命令...
5. 启动和测试:重启 Nginx 服务,验证 FastDFS-nginx-module 是否工作正常,进行上传和下载测试。 在实际应用中,FastDFS-nginx-module 1.24 可以广泛应用于各种需要大量文件存储和访问的场景,如图片分享网站、...
FastDFS是一款开源的高性能、轻量级的分布式文件系统,主要设计目标是为互联网应用提供大...在实际应用中,我们需要关注安装配置、客户端API使用、监控维护以及性能测试与优化等多个环节,确保系统能够满足业务需求。
7. **测试连接**:配置完成后,可以通过curl命令或者浏览器访问测试文件上传和下载功能,确保FastDFS和Nginx的整合成功。 8. **监控与优化**:定期检查FastDFS的运行状态,如磁盘空间、网络连接等,并根据实际情况...
FastDFS是一个开源的高性能、轻量级的企业级分布式文件系统,主要用于解决大容量存储和负载均衡问题,尤其适合图片、视频等大量二进制文件的存储。而FastDFS-Nginx-Module则是FastDFS的一个扩展模块,用于Nginx...
完成以上步骤后,可以启动FastDFS服务并进行简单的测试验证。 ##### 5.1 启动Tracker Server ```bash fdfs_trackerd /etc/fdfs/tracker.conf start ``` ##### 5.2 启动Storage Server ```bash fdfs_storaged /etc/...
5.11稳定版是经过实际测试,证明其在稳定性和性能上都有优秀表现的版本,适合在生产环境中部署。 1. **分布式存储**:FASTDFS的核心特性之一是分布式存储,它将文件分散存储在多台服务器上,实现了文件的负载均衡,...
FastDFS是一个开源的、轻量级的分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,设计目标是高性能和高可用性。FastDFS尤其适合以中小文件为主的大容量存储场景,...
Fastdfs是一款开源的高性能、轻量级的分布式文件系统,主要设计用于解决大容量存储和负载均衡的问题。它将文件存储和文件服务分离,提供高可用性和负载均衡能力,适用于图片、视频等大文件的存储。Fastdfs由三部分...
4. **Swagger集成**:Swagger是一个用于API文档化的工具,通过集成Swagger,可以生成清晰、可交互的API文档,便于开发者理解和测试FastDFS的接口,提高开发和调试效率。 5. **异常处理**:在封装过程中,应考虑各种...
8. 重启Nginx,测试FastDFS的上传和下载功能。 在实际应用中,FastDFS常用于大型网站或企业内部的文件管理系统,配合Nginx实现高并发的文件访问。由于其轻量级的特性,FastDFS在资源消耗和性能方面都有优秀表现,...
FastDFS是一款开源的高性能、轻量级的分布式文件系统,主要用于解决海量数据存储和负载均衡的问题。在实际应用中,文件上传和下载是常见的操作,尤其是大文件,断点续传功能就显得尤为重要。断点续传允许用户在文件...
6. **性能测试报告**:可能包括了FastDFS在不同环境下的性能测试结果,供用户评估其适用性。 7. **社区资源**:可能包含FastDFS社区的链接、问题解答和最佳实践,方便用户寻求帮助和交流经验。 了解和掌握FastDFS的...
FastDFS是一个开源的高性能、轻量级的分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题。FastDFS特别适合以文件为载体的在线...