`
lupan028
  • 浏览: 1683 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

多线程程序的填坑笔记和多线程编程应该遵循的规则

阅读更多
这几天晚上群里一朋友有偿叫我把他的程序弄稳定,因为是现场管理项目,需要做到无人职守,所以即使是客户端,也不能经常down机,因为之前对他的程序有过一个晚上的实地查看,基本流程已经有个大概的了解,我就接下来了。

刚开始的时候, 程序运行不到一个上午,内存暴涨,有时几个小时就挂了,这个那天晚上发现了,找了半天发现一处加载图片的TMemoryStream没有释放。

没想到接下来还有很多的坑需要填。



一个个解决吧,看看有多少坑!

第一天:开始他跟我说他的连接数据库老是超出数量,会导致程序不能处理任务,当天晚上就用diocp3中的BaseQueue做了个轻便的ADO连接池,因为baseQueue做了大量的测试,所以这个ado连接池经过简单的测试就算OK了,接下来就大量的苦力工作了。



第二天:说连接池换上后,连接问题没有了,可是线程池不能处理任务了。他之前使用的一个叫uThreadPool单元,代码好复杂。我推荐他使用QWokers,因为qwokers我一直在使用,很稳定了,任务的投递也很简单,后来一想,他是D7,没办法用这么好的类库,没办法,只好iocpTask上了。iocpTask diocp3中的一个任务投递的库, 是个类似qworker的库,不过只有任务投递和执行的功能,比起qworker来说太简单了,不过用iocpEngine稳定性应该也是不错的了。换上后,我接着对iocpTask做了写修改,加强了调试信息,能够很方便的看到工作线程的当前状态,和任务执行的状态。

因为他说线程池有问题,我估计肯定是卡在哪个任务了,到时候卡死的时候一看就明白了。

下面是iocpTask输出的状态信息,


post counter:10000001
response counter:10000001
error counter:0

active : True, worker count: 5
----------------------- woker 1 --------------------
thread id: 9664, response count: 1719388
busying:False, waiting:True, reserved:True
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 2 --------------------
thread id: 6680, response count: 2010817
busying:False, waiting:True, reserved:True
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 3 --------------------
thread id: 4956, response count: 1965637
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 4 --------------------
thread id: 8304, response count: 2641407
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0
----------------------- woker 5 --------------------
thread id: 9528, response count: 1662752
busying:False, waiting:True, reserved:False
request state info:
runInMainThread: False, done: True, time(ms): 0

因为是gitHub上面的项目所以我用了E文注释和E文信息,中式英文,都懂的,稍微解释下,



post counter:10000001          //代表投递的任务数

response counter:10000001  //响应数

error counter:0                         //投递失败数量



下面是工作线程的一些信息,有线程ID, 响应处理的任务数量,

下面的状态比较关键

busying 的true的话就是代表正在执行任务,wating是在等待状态, reserved是代表常驻工作线程

如果busying为true,会跟着出现当前正在执行的任务信息,如果任务都在执行这样线程池达到最多的线程数,就不能处理新的任务了。导致了他程序发生的情况。这样可以根据任务的信息找到对应的过程,去缩小范围查询问题。



request state info: 如果任务有备注信息,会显示在这里

runInMainThread:是否在主线程执行的任务,done:任务是否完成, time(ms): 是任务耗用的时间。

有了iocpTask这个坑很快找到了。



发现原来临界用了很多,导致了任务死锁…,

明天要接着填临界的坑了。



第三天:他的程序临界使用泛滥,当前进入不了临界,导致任务挂起,但是并不是当前临界的问题,是因为有其他任务进入临界没有退出。所以要找出前面的临界,把临界类改造了下。

可以看到临界的当前信息,我把iocpLocker也进行了相应的升级

function TIocpLocker.getDebugINfo: String;
begin
  Result := Format('%s: busycount:%d, try:%s, enter:%s', [self.FName, GetEnterCount, FTryEnterInfo, FEnterInfo]);
end;
可以获取临界的名称,进入尝试进入临界的线程个数,尝试进入临界的信息和已经进入临界的信息。

有了这个数据就可以看到死锁的临界已经进入的临界信息就是代表造成死锁的元凶了。



第四天:因为线程里面对UI的访问过多,可以用iocpTask在线程中对 UI的访问部分,通过投递任务的方式投递到主线程中完成工作,这也是个苦力。



认真的对他的程序做了改进,并讲解了多线程编程需要注意的地方<后面会总结>,虽然后面程序还有写bug。他还是很爽快的把钱给付了,说即使程序还有问题也值了,通过这次填坑交流知道要注意很多地方。这算是对我这次工作的最大肯定吧。



总结:

通过对这次填坑和以往DIOCP群里面一些朋友的问题和做法,我列出下多线程程序编写需要遵循的几点,希望对大家有所帮助:

1.子线程千万不要访问主线程的UI,(memo,Label),我发现这样做的程序员很多,在diocp中经常会用到onConnected/OnDisconnected事件中直接操作主窗体的Memo。导致程序无法正常退出,或者出现卡死主界面的情况,原因我想可以归纳到访问冲突上面,用临界也不能解决问题。很多组件都是靠windows消息驱动,他才不会使用零件去处理消息,所以临界也没办法。你只有老老实实的投递到主线程去完成这部分工作,qworker和iocpTask都可以很好的完成这项工作。

2.线程之间访问共享资源需要用临界,千万不要多个线程同时去处理同一个变量,或者列表,否则就等着出现各种问题吧。

3.数据库连接尽量用连接池去完成,这样既可以减少连接,也可以很好的避免多个线程对同一个连接的使用。

当然还有很多细小的问题,需要自己去注意了。
分享到:
评论

相关推荐

    Linux平台PThreads库多线程编程笔记汇总

    在Linux环境下,多线程编程能够有效地利用系统资源,特别是对于并行计算和并发任务,线程的优势在于它们共享同一内存空间,这极大地简化了进程间的通信,减少了不必要的开销。 在传统的进程模型中,每个进程都有...

    java多线程读书笔记

    Java多线程编程是Java开发中的重要组成部分,它允许程序同时执行多个任务,从而提高系统的效率和响应性。多线程在操作系统层面是通过进程和线程实现的,而Java则提供了一套丰富的API来支持多线程编程。 在操作系统...

    Linux学习文档_多线程编程

    在Linux系统中,多线程编程是实现并发执行任务的重要技术。它允许一个程序同时运行多个执行线程,从而提高程序的效率和响应性。基于C语言的多线程编程在Linux环境中尤其常见,因为C语言提供了底层的访问权限,可以更...

    iOS多线程网络请求,多线程下载图片

    在iOS应用开发中,多...通过实践这个例子,开发者可以更深入地理解iOS中的多线程技术和网络编程,提高应用性能和用户体验。在LoadImage项目中,你可能会看到这些概念的实际实现,从而进一步学习和掌握这些关键技术。

    Java多线程文章系列.pdf

    ### Java多线程文章系列知识点概述 #### 一、Java多线程编程...以上是《Java多线程文章系列》的主要知识点概述,涵盖了从多线程的基础概念到高级应用,希望能帮助读者深入理解Java多线程编程的核心技术和实践技巧。

    java编程思想读书笔记

    - 变量的声明和初始化需要遵循一定的规则,例如静态变量(`static`)在类加载时就会被初始化一次。 4. **类与对象:** - 类是对象的模板,Java中的对象都是通过类实例化得到的。构造方法用于初始化对象的状态。 ...

    java编程基础笔记

    多线程使程序能够同时执行多个任务,提高了效率。网络编程接口支持TCP和UDP协议,可以创建客户端和服务端应用。 异常处理在Java中扮演着关键角色,它使得程序在遇到错误时能优雅地恢复,而不是突然崩溃。例如,当...

    JUC个人笔记1

    在Java并发编程中,"JUC个人笔记1"主要探讨了多线程并发控制的一些核心概念和技巧。首先,遵循高内聚低耦合的原则,将线程的操作与资源类进行解耦,使得代码结构更加清晰,易于维护。在多线程交互中,特别是涉及到`...

    Python非常详细编程笔记及Python深入理解CHM版

    CHM版的"Python深入理解"部分可能包含了Python的高级主题,如元类、生成器表达式、异步编程(协程和asyncio库)、异常处理、文件I/O、网络编程、并发与多线程、性能优化等。这些内容将帮助你提升对Python深层机制的...

    Python中的程序优化(基础笔记)

    多线程和多进程也是优化手段,但Python的全局解释器锁(GIL)限制了多线程在CPU密集型任务中的并行性。因此,对于CPU密集型任务,使用多进程(如`multiprocessing`模块)更合适;对于I/O密集型任务,可以利用`...

    java 计算机编程笔记

    Java是一种广泛使用的面向对象的编程语言,其设计目标是具有高度的可移植性、健壮性和安全性...在实际编程过程中,还需要学习类、对象、包、接口、异常处理、集合框架、输入/输出流、多线程、网络编程等更多高级主题。

    java核心编程笔记-持续更新

    多线程编程是Java的一大特色,允许程序同时执行多个任务,通过创建Thread对象或实现Runnable接口来实现。 总的来说,理解和掌握这些Java核心概念是成为熟练Java程序员的基础。随着学习的深入,还将涉及网络编程、I/...

    java核心编程课堂笔记

    - **多线程**:内置多线程支持,方便编写并发程序。 - **动态性**:Java 支持动态加载类,适应不断变化的环境。 2. **Java 基础元素**: - **关键字**:如 "public"、"class"、"static" 和 "void",它们有特定的...

    Java核心编程课堂笔记

    Java 是一种广泛使用的高级编程语言,以其...通过深入学习,开发者可以进一步探索Java的类库、异常处理、集合框架、IO流、多线程、网络编程、数据库连接以及高级特性,如反射、泛型和注解等,从而成为Java开发的专家。

    C++编程规范 Google 中文版 C++编程规范 自建笔记

    9. **并发与多线程**:在多线程编程中,了解锁、条件变量、原子操作等同步机制,并避免数据竞争。使用`std::thread`库进行线程管理。 10. **代码组织**:遵循模块化设计,将相关功能封装在一起。合理使用头文件和源...

    (word)自考04747《java语言程序设计(一)》串讲笔记.pdf

    【Java语言程序设计(一)】串讲笔记涵盖了Java语言的核心特性和编程基础,以下是详细的解析: 1. **Java语言特点** - **强类型**:Java是一种静态类型的编程语言,意味着在编译期间就确定了变量的数据类型,有助于...

    毕向东java笔记

    笔记的后续章节深入讲解了数组、面向对象编程、异常处理、多线程技术、常用类API、集合框架、IO流、GUI编程、网络编程、反射机制、正则表达式、HTML、CSS和JavaScript等内容,为学习者提供了全面的Java知识体系。...

Global site tag (gtag.js) - Google Analytics