`
javasea
  • 浏览: 5570 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

频繁操作数据库

 
阅读更多
1.数据库存储问题
由于tcp不定时不间断的上报数据,1秒10条左右,这样高频率的操作数据库一定是不合理的,那怎么来解决问题呢。
ps:我用TCP收集上报上来的ip地址(源IP+目的IP),如果已经存储了就更新访问次数,如果源源ip没有存储,就新增,一次会有多条源IP+目的IP;
我的想法是把处理逻辑放到存储过程中实现:
(1)数据进入临时表
(2)存储ip的A表与临时表通过sql比较,相同的插入,不同的更新访问次数。
(3)将A表的源IP过滤重复,生成一个新表,用于业务需要。
现在的效率是调用一次存储过程花费的时间是400ms左右,1秒可以存储2次。而存储过程的接口是可以支持批量插入的。所以需要一个缓存,把收集的记录缓存起来,批量执行效果更好。
但是,需要考虑几个问题:
1.缓存大小,根据存储过程一次执行批量更新的大小
2.执行存储过程的时机,2种情况,
(1)缓存达到限定大小。
(2)一段时间检查缓存是否有数据未提交。
(3)同时操作缓存问题。
批量执行没有实现,可以尝试一下看看,效果。
分享到:
评论

相关推荐

    安卓数据库APP.zip

    同时,优化查询性能,避免频繁操作数据库导致性能下降。 10. **测试与调试**: 开发完成后,需要进行详尽的测试,确保所有功能正常,没有崩溃或数据丢失的情况。使用Android Studio的调试工具可以帮助定位和修复问题...

    07-池化技术:如何减少频繁创建数据库连接的性能损耗?_For_group_share1

    在实际操作中,频繁创建和销毁数据库连接会导致大量的系统资源浪费,影响系统的响应时间和整体性能。以下将详细介绍数据库连接池的概念、工作原理以及关键配置。 首先,数据库连接池是一种管理数据库连接的技术,它...

    易语言模块易2.55版数据库记录编辑器模块.rar

    - 数据库管理软件开发:在开发企业管理软件、客户关系管理系统等需要频繁操作数据库的应用时,此模块可以大大降低开发难度。 - 教育培训:在教学易语言编程时,此模块作为一个实例,可以帮助学生快速理解和掌握...

    javascript操作数据库详解

    本文将深入探讨如何使用JavaScript操作数据库,主要涵盖以下几个方面: 1. **Node.js与数据库接口** Node.js的非阻塞I/O模型使其成为处理数据库查询的理想选择。它提供了多种数据库驱动,如MySQL的`mysql2`库、...

    MYSQL数据库连接工具

    总的来说,MySQL数据库连接工具简化了数据库的管理和维护工作,提高了工作效率,特别适合那些需要频繁操作数据库的开发者和管理员。通过使用像“mysqlcc”这样的工具,用户可以更加直观和便捷地处理数据库任务,而...

    数据库网络通讯,有关数据库的操作、 网络通信以及多线程的使用

    3. 数据库事务:事务是一组数据库操作,要么全部执行,要么全部回滚。ACID(原子性、一致性、隔离性和持久性)原则是事务处理的核心,保证了数据的一致性和完整性。 二、网络通信 1. TCP/IP协议:TCP/IP是互联网上...

    ACCESS数据库查看修改器.rar

    使用这款修改器,用户可以更高效地管理Access数据库,提升工作效率,特别是对于那些不熟悉Access界面或者需要频繁操作数据库的用户来说,它能提供更加便捷的工作流程。 不过,值得注意的是,任何数据库操作都应谨慎...

    js操作数据库源码js操作数据库源码

    在JavaScript这个主要应用于Web前端的语言中,直接操作数据库通常是不常见的。然而,随着技术的发展,JavaScript已经能够通过一些特定的方式与数据库进行交互。这主要得益于Node.js的出现,它允许我们在服务器端运行...

    易语言数据库操作实例

    2. **SQL语句执行**:易语言允许用户直接编写SQL语句来操作数据库。例如,使用"创建表"(CREATE TABLE)语句建立新的数据表,"插入记录"(INSERT INTO)语句添加数据,"查询"(SELECT)语句获取数据,"更新"(UPDATE...

    sql语句测试软件

    标题中的“sql语句测试软件”表明这是...这款软件对于数据库管理员、开发者或者需要频繁操作数据库的用户来说,是一个实用的工具,它简化了SQL命令的测试过程,并且能够处理多种不同类型的数据库文件,提高了工作效率。

    易语言源码多用户远程数据库操作.rar

    在“易语言源码多用户远程数据库操作”这个主题中,我们将深入探讨如何使用易语言来实现多用户同时对远程数据库进行操作的相关知识点。 1. **多用户并发访问**:在多用户环境中,数据库需要处理来自多个客户端的...

    用VB动态创建数据表插入SQL语句.pdf

    在VB中,数据库编程是一个重要领域,动态生成SQL语句是数据库开发中的一个实用技术,尤其是当需要频繁操作数据库,而数据表结构又经常发生变化时。 描述中详细说明了文章的内容,即如何在VB中自动生成任意数据库中...

    究竟先操作缓存,还是数据库

    1. **先操作数据库,再操作缓存** - **正常情况**:首先更新数据库中的数据,然后再删除或设置缓存中的对应项。 - **异常情况**:如果更新数据库成功但更新缓存失败,会导致数据库和缓存中的数据不一致。 2. **先...

    易语言源码多用户远程数据库操作--.rar

    7. **安全性**:在远程操作数据库时,必须考虑安全性问题,如用户权限管理、数据加密传输等。易语言提供了相应的安全措施,开发者需要合理使用以保障数据安全。 通过阅读"多用户远程数据库操作"源码,我们可以学习...

    asp.net数据库操作类

    此类尤其适用于那些频繁与SQL Server数据库进行交互的Web应用,通过提供一套标准化的接口,可以显著减少开发时间并降低错误率。 #### 关键功能与实现细节 ##### 数据库连接管理 `SQLHelper`类内部维护了一个`...

    DbHelper数据库操作类

    连接池可以提高数据库操作的性能,减少频繁创建和销毁连接带来的资源消耗。 2. SQL语句执行:DbHelper提供方法执行SQL查询、插入、更新和删除语句。这些方法可能接受SQL语句作为参数,或者接受预编译的...

    封装了数据库访问操作

    连接池预先初始化一定数量的数据库连接,供多个请求共享,避免了频繁地创建和关闭连接,降低了系统资源的消耗。 同时,错误处理和异常处理也是封装库不可或缺的部分,它们确保在遇到问题时能够正确地捕获和处理,...

    SQLyog-Enterprise.rar

    它将多种实用功能集于一体,对于开发者、数据库管理员以及需要频繁操作数据库的人员来说,是一个不可或缺的工具。 首先,SQLyog的"Enterprise"版本通常代表其企业级版本,意味着它包含更多的高级功能和优化,旨在...

    java操作各种数据库 通用类

    - JDBC(Java Database Connectivity)是Java平台的标准接口,用于连接和操作数据库。使用JDBC,我们可以通过`DriverManager.getConnection()`方法建立与数据库的连接。 - 首先需要在项目中引入对应数据库的JDBC...

    SQLyog-11.3.3-0.x64

    《SQLyog:高效便捷的MySQL数据库管理利器》 在信息技术领域,数据库管理扮演着至关重要的角色,尤其是在大型系统和互联网应用中...对于需要处理大量数据和频繁操作数据库的用户来说,这款工具无疑是一个得力的助手。

Global site tag (gtag.js) - Google Analytics