`

(转载)MongoDB与内存

阅读更多

但凡初次接触MongoDB的人,无不惊讶于它对内存的贪得无厌,至于个中缘由,我先讲讲Linux是如何管理内存的,再说说MongoDB是如何使用内存的,答案自然就清楚了。

 

据说带着问题学习更有效,那就先看一个MongoDB服务器的top命令结果:

shell> top -p $(pidof mongod)
Mem:  32872124k total, 30065320k used,  2806804k free,   245020k buffers
Swap:  2097144k total,      100k used,  2097044k free, 26482048k cached

 VIRT  RES  SHR %MEM
1892g  21g  21g 69.6

这台MongoDB服务器有没有性能问题?大家可以一边思考一边继续阅读。

先讲讲Linux是如何管理内存的

在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会通过Page Table机制把它翻译成物理内存地址,详细说明可以参考Understanding MemoryUnderstanding Virtual Memory,至于程序是如何使用虚拟内存的,可以参考Playing with Virtual Memory,这里就不多费口舌了。

很多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有的时候即使内存充足也可能会出现这种问题,比如MySQL就有可能出现这样的情况,一个可选的解决方法是限制使用Swap:

shell> sysctl vm.swappiness=0

查看内存情况最常用的是free命令:

shell> free -m
             total       used       free     shared    buffers     cached
Mem:         32101      29377       2723          0        239      25880
-/+ buffers/cache:       3258      28842
Swap:         2047          0       2047

新手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的,操作系统的虚拟内存管理器会按照LRU算法淘汰冷数据。还有一个buffers,也是可回收的,不过它是保留给块设备使用的。

知道了原理,我们就可以推算出系统可用的内存是free + buffers + cached:

shell> echo $((2723 + 239 + 25880))
28842

至于系统实际使用的内存是used – buffers – cached:

shell> echo $((29377 - 239 - 25880))
3258

除了free命令,还可以使用sar命令:

shell> sar -r
kbmemfree kbmemused  %memused kbbuffers  kbcached
  3224392  29647732     90.19    246116  26070160

shell> sar -W
pswpin/s pswpout/s
    0.00      0.00

希望你没有被%memused吓到,如果不幸言中,重读本文。

再说说MongoDB是如何使用内存的

目前,MongoDB使用的是内存映射存储引擎,它会把数据文件映射到内存中,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟内存管理器去处理,这样做的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,幸运的是虚拟内存管理器的存在让我们多数时候并不需要关心这个问题。

MongoDB的内存使用机制让它在缓存重建方面更有优势,简而言之:如果重启进程,那么缓存依然有效,如果重启系统,那么可以通过拷贝数据文件到/dev/null的方式来重建缓存,更详细的描述请参考:Cache Reheating – Not to be Ignored

有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇OOM问题,出现这种情况,多半是因为限制了内存的大小所致,可以这样查看当前值:

shell> ulimit -a | grep memory

多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改:

shell> ulimit -m unlimited
shell> ulimit -v unlimited

注:ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。

有时候,MongoDB连接数过多的话,会拖累性能,可以通过serverStatus查询连接数:

mongo> db.serverStatus().connections

每个连接都是一个线程,需要一个Stack,Linux下缺省的Stack设置一般比较大:

shell> ulimit -a | grep stack
stack size              (kbytes, -s) 10240

至于MongoDB实际使用的Stack大小,可以用如下命令确认(单位:K):

shell> cat /proc/$(pidof mongod)/limits | grep stack | awk -F 'size' '{print int($NF)/1024}'

如果Stack过大(比如:10240K)的话没有意义,简单对照命令结果中的Size和Rss:

shell> cat /proc/$(pidof mongod)/smaps | grep 10240 -A 10

所有连接消耗的内存加起来会相当惊人,推荐把Stack设置小一点,比如说1024:

shell> ulimit -s 1024

注:从MongoDB1.8.3开始,MongoDB会在启动时自动设置Stack。

有时候,出于某些原因,你可能想释放掉MongoDB占用的内存,不过前面说了,内存管理工作是由虚拟内存管理器控制的,幸好可以使用MongoDB内置的closeAllDatabases命令达到目的:

mongo> use admin
mongo> db.runCommand({closeAllDatabases:1})

另外,通过调整内核参数drop_caches也可以释放缓存:

shell> sysctl vm.drop_caches=1

平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

mongo> db.serverStatus().mem:
{
    "resident" : 22346,
    "virtual" : 1938524,
    "mapped" : 962283
}

还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

shell> mongostat
mapped  vsize    res faults
  940g  1893g  21.9g      0

其中内存相关字段的含义是:

  • mapped:映射到内存的数据大小
  • visze:占用的虚拟内存大小
  • res:占用的物理内存大小

注:如果操作不能在内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。

在上面的结果中,vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。

如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况:

shell> pmap $(pidof mongod)

到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文所涉及的MongoDB实例:

mongo> db.stats()
{
    "dataSize" : 1004862191980,
    "indexSize" : 1335929664
}

本例中索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据是多少,取决于具体的应用,你也可以通过观察faults的大小来判断当前内存是否能够装下热数据,如果faults持续变大,就说明当前内存已经不能满足热数据的大小了。如此一来内存大小就明确了:内存 > 索引 + 热数据,最好有点富余,毕竟操作系统本身正常运转也需要消耗一部分内存。

分享到:
评论

相关推荐

    使用open source产品组装你的web应用架构(转载)

    Nginx以其高性能和低内存占用著称,适合高并发场景;而Apache支持多种模块,适合复杂的应用环境。根据需求,可以选择单个服务器或采用反向代理配置,将请求分发到多个后端服务。 2. **动态语言运行环境**:对于编程...

    my_demos:深入前端核心理论,记录个人博客

    7 章:函数表达式《JavaScript 高级程序设计(第四版)》学习笔记:第 3 章:语言基础第 4 章:变量、作用域与内存第 6 章:集合引用类型6.4 Map6.5 WeakMap6.6 Set6.7 WeakSet第 7 章:迭代器和生成器7.2 迭代器...

    网络技术-文件服务器-远程访问-个人应用实践Flask-Fi-1744736795.zip

    java入门 - 方法的使用网络技术_文件服务器_远程访问_个人应用实践Flask_Fi_1744736795.zip

    光伏系统中基于MPPT算法与PI双闭环控制的48V直流输出稳定性优化

    内容概要:本文深入探讨了光伏系统中用于稳定直流输出电压的关键技术,主要包括最大功率点跟踪(MPPT)算法、Boost升压电路和电池侧电压电流PI双闭环控制。MPPT算法通过实时监测光伏板的电压和电流,调整电路工作状态使光伏板始终处于最大功率点附近。Boost电路负责将光伏板输出的较低电压提升到所需的较高电压水平。而电池侧的电压电流PI双闭环控制系统,则确保电池在充放电过程中保持稳定。文中还提供了具体的Python代码示例,展示了这些技术的实际应用方法。 适合人群:从事光伏系统设计、开发与维护的专业技术人员,尤其是对提高光伏系统效率感兴趣的工程师。 使用场景及目标:适用于需要构建高效稳定的光伏发电系统的场合,旨在通过优化MPPT算法、Boost电路设计和电池管理策略,实现光伏系统直流输出电压的稳定性和可靠性。 其他说明:文中不仅介绍了理论概念和技术细节,还给出了实际编码实例,帮助读者更好地理解和掌握相关技术的应用。此外,强调了各组件之间的协调运作对于整个系统性能的重要性。

    基于ssm+jsp的手办商城管理系统(源码+数据库)-268

    基于ssm+jsp的手办商城管理系统:前端 jsp、jquery、bootstrap,后端 maven、springmvc、spring、mybatis;角色分为管理员、用户;集成商品信息、购物车、我的订单、客服、商品管理等功能于一体的系统。 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Tomcat 7.0.73</b> - <b>JDK 1.8</b>

    基于springboot的高校教育综合管理系统(源码+数据库)231

    基于springboot的高校教育综合管理系统:前端 html、jquery、layui,后端 maven、springmvc、spring、mybatis;角色分为管理员、老师、学生;集成宿舍管理、教评管理、排课管理、考试管理等功能于一体的系统。 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>JDK 1.8</b>

    【医疗人工智能】基于NCCN指南的乳腺癌个性化治疗计划:Agentic-RAG与Graph-RAG方法性能对比及临床应用评估AI驱动的方法

    内容概要:本文介绍了一种基于NCCN(国家综合癌症网络)指南的人工智能工具,用于为乳腺癌患者提供个性化治疗方案。研究提出了两种AI驱动的方法:Agentic-RAG(检索增强生成)和Graph-RAG。Agentic-RAG通过三个步骤选择临床标题、检索匹配的JSON内容并迭代优化推荐,确保治疗建议的准确性。Graph-RAG则将JSON数据转换为文本并通过大型语言模型(LLM)进行总结,再映射成图结构表示关键治疗关系,最终生成推荐。实验结果显示,Agentic-RAG实现了100%的指南依从率,无幻觉或错误治疗;Graph-RAG达到95.8%的依从率,仅有一例错误治疗。两者均提供了详细的治疗建议,并引用了具体的NCCN文档页码。; 适合人群:从事肿瘤学研究和临床工作的医生、研究人员以及对AI在医疗领域应用感兴趣的科技工作者。; 使用场景及目标:①帮助医生快速获取符合NCCN指南的个性化乳腺癌治疗方案;②提高医生对复杂治疗指南的理解和应用效率;③支持临床决策,确保治疗方案的准确性和透明度。; 其他说明:研究强调了Agentic-RAG和Graph-RAG在处理复杂医学指南方面的优势,特别是在提供详细、可追溯的治疗建议方面。未来的工作将扩展测试范围,涵盖更多类型的癌症,并评估系统在实际临床环境中的表现。此外,系统与电子健康记录(EHR)的集成将进一步提升其临床应用价值。

    MATLAB实现K-Medoids聚类算法及其应用

    内容概要:本文详细介绍了K-Medoids聚类算法的MATLAB实现,涵盖了数据导入、算法核心逻辑、可视化展示等多个方面。首先,通过鸢尾花数据集展示了如何导入数据并进行初步处理。接着,深入讲解了K-Medoids算法的关键步骤,如选择初始medoids、计算距离矩阵、分配样本到最近的medoid以及更新medoids。文中还强调了该算法相较于K-Means的优势,即对异常点更为稳健。最后,通过可视化手段展示了聚类结果,帮助读者更好地理解和验证算法的效果。 适合人群:具有一定MATLAB编程基础的研究人员、数据科学家和机器学习爱好者。 使用场景及目标:适用于需要对数据进行稳健聚类分析的场景,特别是当数据集中可能存在异常点时。目标是通过实际案例和代码实现,帮助读者掌握K-Medoids算法的工作原理及其应用场景。 其他说明:文中提供了详细的代码片段和解释,便于读者动手实践。同时提醒了一些常见的注意事项,如初始medoids的选择和距离矩阵的计算效率等问题。

    基于springboot的学生选课管理系统(源码+数据库)-265

    基于springboot的学生选课管理系统:前端 vue2、elementui,后端 maven、springmvc、spring、mybatis;角色分为管理员、学生、老师;集成课程信息、校园论坛、校园公告、选课等功能于一体的系统。 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Node 14.14.0</b> - <b>JDK 1.8</b>

    基于ssm的物流快递管理系统(源码+数据库)216

    基于ssm的物流快递管理系统:前端 jsp、jquery、easyui,后端 springmvc、spring、mybatis;角色分为管理员、用户;集成在线下单、新闻资讯、订单管理等功能于一体的系统。 ## 功能介绍 ### 网站前台 - 网站首页:主导航栏,轮播图,新闻资讯,服务介绍 - 在线下单:填写发货人和收货人信息,提交订单,按快递单号查询快递明细 - 新闻资讯:资讯信息列表展示,资讯详情 ### 管理后台 - 菜单管理:菜单信息的增删改查 - 角色管理:角色信息的增删改查,编辑权限 - 用户列表:用户信息的增删改查,角色分配 - 新闻管理:新闻信息的增删改查,新闻内容支持富文本编辑 - 留言列表:列表信息的列表查询,信息删除,信息编辑,按姓名和联系方式模糊查询 - 订单管理:订单信息的增删改查,多条件查询,更新订单状态 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Tomcat 7.0.73</b> - <b>JDK 1.8</b>

    ### 【人工智能应用开发】基于Dify的多场景AI应用开发实战指南:从聊天助手到企业知识库构建

    内容概要:本文档《Dify_实战指南.pdf》介绍了Dify这一多合一的数据处理与分析平台,旨在简化AI应用开发流程。Dify通过提供可视化的界面和模块化设计,支持多种大语言模型,具备私有化部署与数据安全保障,拥有活跃的开发者社区。文档详细阐述了Dify的设计初衷、核心理念、应用场景、主要功能及其开发实战案例,如聊天助手、企业知识库和小红书运营工作流。; 适合人群:具备一定编程基础,对AI应用开发感兴趣的开发者、数据科学家及技术爱好者。; 使用场景及目标:①简化AI应用开发流程,支持多种大语言模型;②提供模块化设计与功能组件,实现快速迭代与创新;③确保数据安全,支持私有化部署;④通过实战案例掌握Dify的实际应用技巧。; 其他说明:文档强调Dify的开源特性、低代码/无代码开发、全面模型支持、功能组件丰富等特点,鼓励开发者利用Dify的工具和社区资源,降低AI应用开发门槛,加速从概念到产品的转化过程。

    基于树莓派的微信机器人.zip

    基于树莓派的微信机器人

    基于ssm+jsp的虚拟商品管理系统(源码+数据库)241

    基于ssm+jsp的虚拟商品管理系统:前端 jsp、jquery,后端 maven、springmvc、spring、mybatis;角色分为管理员、用户;集成促销商品、商品购买、购物车、订单查询等功能于一体的系统。 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Tomcat 7.0.73</b> - <b>JDK 1.8</b>

    自动驾驶路径跟踪:基于二自由度横摆动力学的MPC控制实现双移线和单移线路径

    内容概要:本文详细介绍了基于二自由度横摆动力学模型的模型预测控制(MPC)在自动驾驶路径跟踪中的应用,特别是针对双移线和单移线路径的跟踪。首先,文章解释了如何自定义期望轨迹并导入轨迹数据,接着讨论了Q矩阵和R矩阵的作用以及如何调整它们以优化侧向位置跟踪和前轮转角曲线的效果。此外,还探讨了输出值边界的约束设置,确保系统的稳定性和可行性。最后,文章提到了模型的仿真效果,并分享了一些实战经验和参数调整技巧,如预测时域的选择和曲率补偿的应用。 适合人群:从事自动驾驶研究的技术人员、对路径跟踪算法感兴趣的工程师和研究人员。 使用场景及目标:适用于自动驾驶汽车的研发过程中,特别是在路径规划和控制模块的设计阶段。目标是提高路径跟踪的精确度和平滑性,确保车辆能够在复杂路况下安全行驶。 其他说明:文中提供了多个代码示例,帮助读者更好地理解和实现MPC控制。同时,推荐观看UP主‘阿Xin自动驾驶’的相关视频,以便直观了解仿真效果。

    基于ssm的校园二手交易平台管理系统(源码+数据库)162

    基于ssm的校园二手交易平台管理系统:前端 jsp、jquery,后端 maven、springmvc、spring、mybatis;角色分为管理员、用户;集成商品浏览、商品详情、在线购买、订单查询等功能于一体的系统。 ## 功能介绍 ### 管理员 - 物品分类管理:分类信息的增删改查,一级分类,二级分类 - 物品管理:用户发布的二手商品信息,后台管理员可以查看,删除商品,上架和下架操作 - 订单管理:用户在线购买商品后,管理员可以查询订单信息,订单删除,订单状态 - 用户管理:用户在前台自行注册的用户账号信息,管理员可以删除、禁用、激活 ### 用户 - 基本功能:登录,注册,退出 - 网站首页:全局搜索,分类导航,商品列表展示 - 商品:商品详情,商品收藏,联系卖家,物品留言,在线购买 - 发布商品:用户可以将自己闲置的二手商品发布到平台上进行售卖 - 我的:用户信息查看与修改,修改头像,密码修改,我收藏的物品,我发布的物品,我的订单 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Tomcat 7.0.73</b> - <b>JDK 1.8</b>

    工业控制领域200PLC实现两台水泵一用一备自动控制及故障切换

    内容概要:本文详细介绍了基于西门子S7-200 PLC的两台水泵一用一备自动控制系统的设计与实现。主要内容包括:1. 控制要求拆解,如总启动和总停止、一用一备交替工作、故障切换与报警、故障判断逻辑;2. 代码实现,涉及变量定义、总启动与总停止逻辑、电机交替运行逻辑、故障切换与报警逻辑;3. 上位机组态源程序,使用WinCC flexible进行画面设计和运行测试。通过这些内容,构建了一个能够稳定运行、具备故障自恢复能力的水泵控制系统。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是熟悉PLC编程和上位机组态的从业者。 使用场景及目标:适用于需要高可靠性和冗余备份的工业水泵控制系统,旨在提高系统的稳定性和安全性,减少设备损耗,延长使用寿命。目标是在工业环境中实现无人值守的自动化控制。 其他说明:文中提供了详细的编程思路和具体代码片段,帮助读者更好地理解和应用。此外,还提到了实际调试中遇到的问题及其解决方案,为实际工程应用提供宝贵的经验。

    燃料电池汽车功率跟随Cruise-Matlab联合仿真模型及其优化策略

    内容概要:本文详细介绍了基于Cruise2019和Matlab2018a构建的燃料电池汽车功率跟随仿真模型。该模型通过多个控制模块确保燃料电池输出功率紧密跟随车辆需求,同时保持电池SOC稳定。具体包括:DCDC控制模块采用动态电压补偿策略,避免电压震荡;再生制动模块在高SOC时增加回收力度,减少机械制动磨损;机械制动与再生制动的无缝切换策略;以及针对燃料堆响应延迟的加速补偿措施。此外,文中还分享了多项调试经验和优化技巧,如变步长求解器的选择、虚拟CAN信号采集点的应用等。 适合人群:从事新能源汽车研究的技术人员、高校相关专业师生、对燃料电池汽车感兴趣的科研工作者。 使用场景及目标:适用于燃料电池汽车的动力系统仿真研究,旨在提高仿真精度,优化控制策略,缩短开发周期。 其他说明:文中提供的代码片段和调试经验对于理解和改进燃料电池汽车的功率跟随性能具有重要参考价值。

    基于ssm+vue的校园购物网站管理系统(源码+数据库)184

    基于ssm+vue的校园购物网站管理系统:前端 vue、elementui,后端 maven、springmvc、spring、mybatis;角色分为管理员、用户;集成商品浏览、购物车、在线结算、订单查询等功能于一体的系统。 ## 功能介绍 ### 用户 - 基本功能:登录,注册,退出 - 网站首页:主导航栏,轮播图,商品搜索,商品信息推荐,商品资讯 - 商品购买:商品列表展示,按商品名称和品牌模糊搜索商品,商品详情,购物车,积分兑换,在线结算 - 其他功能:商品资讯,留言反馈 - 个人中心:个人信息查询与修改,密码修改,我的订单查询,我的地址维护,我的收藏列表,用户充值 ### 管理员 - 用户管理:用户信息的增删改查,用户可以在用户端自行注册 - 商家管理:商家信息的增删改查 - 商品分类管理:分类信息的增删改查 - 商品信息管理:商品信息的增删改查,商品图片上传 - 订单评价管理:订单评价信息的列表查询,删除 - 留言板管理:用户在用户端发布的留言信息,管理员后台查看与回复 - 系统管理:轮播图信息的增删改查,商品资讯的增删改查 - 订单管理:订单的列表查询,发货操作 ## 环境 - <b>IntelliJ IDEA 2021.3</b> - <b>Mysql 5.7.26</b> - <b>Tomcat 7.0.73</b> - <b>Node 14.14.0</b> - <b>JDK 1.8</b>

    四旋翼飞行器仿真与控制技术:从定高到轨迹跟踪的全面解析

    内容概要:本文详细介绍了四旋翼飞行器的仿真与控制技术,涵盖了多个关键技术环节。首先讨论了定高控制,通过PID控制器实现稳定的高度保持。接着介绍了自由落体仿真,展示了如何通过运动学公式进行高度随时间变化的模拟。随后讲解了动力学模型的线性化方法,使复杂的非线性方程变得容易处理。接下来探讨了位置环与姿态环的轨迹跟踪控制,分别针对直线轨迹和圆弧轨迹进行了具体实现。此外,还讨论了多点任务控制与轨迹规划,以及风阻力模型的影响。最后介绍了状态观测器的设计,特别是卡尔曼滤波器的应用,以提高飞行器状态估计的准确性。 适合人群:对四旋翼飞行器仿真与控制感兴趣的科研人员、工程师和技术爱好者。 使用场景及目标:适用于希望深入了解四旋翼飞行器控制原理的研究人员,以及从事无人机开发的技术人员。目标是掌握从理论公式推导到代码实现的全过程,提升对四旋翼飞行器控制系统的理解和应用能力。 其他说明:文中提供了大量具体的代码示例,帮助读者更好地理解和实践相关概念。同时,强调了各控制环节之间的相互关联,确保系统整体的稳定性和可靠性。

    西门子博图WinCC与SQL Server集成:历史数据存储与可视化解决方案

    内容概要:本文详细介绍了将西门子博图WinCC的历史数据存储到SQL Server数据库的方法及其可视化展示的技术方案。首先,文章讲解了如何创建并配置SQL Server数据库,确保其能够接收来自WinCC的关键参数如压力、温度等,并通过定时任务进行数据的循环保存,保持最新的两万条记录。接着,文中提供了具体的C语言、VBS脚本以及SQL语句用于实现从WinCC到SQL Server的数据传输,强调了防止SQL注入攻击的安全措施。此外,针对数据展示部分,分别展示了利用Python的matplotlib库绘制趋势图、C# WinForm应用程序以及ASP.NET结合Highcharts进行实时数据可视化的多种方法。同时,文章还提到了一些常见的实施过程中可能遇到的问题及解决方案,例如数据库连接超时、数据量过大导致的性能下降等。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是那些熟悉西门子博图WinCC平台并对SQL Server有一定了解的人群。 使用场景及目标:适用于需要将工业生产过程中的重要参数长期保存以便后续分析的企业或机构。主要目的是建立一套高效可靠的数据存储与检索系统,确保数据完整性和可用性的同时,提供直观易懂的数据呈现形式,帮助决策者快速掌握设备运行状况。 其他说明:文中提到的所有代码片段均为简化版,实际应用时需根据具体情况调整参数配置。对于大规模数据处理,建议进一步优化数据库架构和查询语句以提高性能。

Global site tag (gtag.js) - Google Analytics