uwsgi 处理web 请求使用了多进程的模式,接收到web请求后可能由不同的进程去处理。
问题背景:
一、前段时间写了个api, 这个api 是在django项目中的,并且使用的是nginx+uwsgi的方式提供服务的。在api 中 使用了django 的 get_or_create来保证数据表的唯一性。
XXX.objects.get_or_create(custom_column_id=custom_column_id, l_id=l_id)
二、调用这个api 的客户端只有一个进程,并且使阻塞式的串行调用,只有在第一个接口返回后才进行下一次的请求。
三、结果经过长期的运行发现,数据表中多了很多重复的数据。
custom_column_id | l_id |
1 | 2 |
1 | 2 |
问题分析: 先查查get_or_create的源代码,发现其不是线程安全的。也就是说有两个进程或线程在同时执行的get_or_create的时候,可能会都进行Create,这样就会产生两条相同的数据。如下django 源码:
def get_or_create(self, defaults=None, **kwargs): """ Looks up an object with the given kwargs, creating one if necessary. Returns a tuple of (object, created), where created is a boolean specifying whether an object was created. """ lookup, params = self._extract_model_params(defaults, **kwargs) # The get() needs to be targeted at the write database in order # to avoid potential transaction consistency problems. self._for_write = True try: return self.get(**lookup), False except self.model.DoesNotExist: return self._create_object_from_params(lookup, params)
也就是说如果uwsgi 的多进程在同时并发处理请求时可能会导致这种重复的数据产生。但是疑惑的是,客户端是串行请求的。在一个请求完成后在发送另一个请求。仔细研究代码发现发送请求使用python的requests 库,并且加了timeout 限制,如下官方解释:
You can tell Requests to stop waiting for a response after a given number of seconds with the timeout parameter: requests.get('http://github.com', timeout=0.001) Traceback (most recent call last): File "<stdin>", line 1, in <module> requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
也就是在timeout范围内没有收到响应,客户端就会结束。虽然客户端停止了,但是服务端还没有结束,这时候再处理同样的请求就可能会并发的调用get_or_create方法,造成重复数据的问题。做一个实验来证明request 在timeout 后,客户端停止了。但是服务端依然在处理。如下图,客户端在timeout=3 s 后就自动返回,然而服务端依然在运行,知道uwsgi超时后自动重启。
图一、客户端超时返回错误
图二、服务端使用循环输出来验证
图三,服务端在超时后才退出
注:uwsgi 是使用进程池的方式处理http请求,也就是每次请求到来的请求可能是不同的进程去处理的。当然在uwsgi 中可以配置请求处理的超时时间,如果在超时时间内还没有处理完,主进程会把这个处理请求的进程重启。
解决思路:
一,调整调用api 时设置的超时时间,保证接受请求的api进程处理完毕。超时时间必须大于uwsgi进程的超时时间(目前使用该方法,观察了一个月没有数据重复的情况)。
二,如果能在数据库层面保证数据的唯一性是最好的。那样才能保证数据的唯一性。
相关推荐
AspWebServer可能通过创建多个线程来处理来自不同客户端的请求,以实现并发服务。 3. **Socket编程**:AspWebServer需要监听和接受来自网络的连接,这就涉及到了Socket编程。Socket是网络通信的基本接口,通过套接...
总的来说,"c web server library" 这个主题涵盖了从基础的Web服务器原理到具体实现(如Lighttpd)、再到高级话题(如源码分析和扩展开发)等多个层次的知识点,对于任何想要深入理解Web服务器工作原理或使用C语言...
2. **多路复用(Multiplexing)**:为了同时处理多个客户端请求,TinyWebServer可能使用了I/O多路复用技术,如`select()`, `poll()` 或 `epoll()`。这些函数允许服务器在一个调用中监控多个套接字,提高并发性。 3....
与完整的IIS相比,WebDev.WebServer40.EXE不支持某些高级功能,如多站点托管、SSL加密或大规模并发请求处理,但它能够快速启动,并且在开发环境中易于配置。 压缩包子文件的文件名称列表中提到的"WebDev"可能包含了...
2. **多路复用(Multiplexing)**:为了处理多个并发的客户端请求,Web服务器通常采用多路复用技术,如IO多路复用(select、poll、epoll)或异步非阻塞I/O(如事件驱动的libevent、libev或Node.js的事件循环)。...
为了提高性能,现代Web服务器采用了多线程、多进程、事件驱动(如epoll、kqueue)或异步非阻塞I/O模型。此外,负载均衡和反向代理技术也被广泛用于分发请求到多个服务器,以应对高并发访问。 在部署Web应用时,Web...
4.1 性能优化:多线程或多进程模型可以提高Web服务器处理并发请求的能力。使用epoll等I/O多路复用技术可以更有效地管理多个连接。 4.2 安全性:Web服务器需要考虑防止跨站脚本攻击(XSS)、SQL注入等安全问题。此外...
3. **多线程或多进程处理**:为了处理并发请求,Web服务器通常会采用多线程或多进程模型。C++标准库提供了线程支持,如`<thread>`库,可以创建和管理线程。 4. **文件I/O操作**:Web服务器需要读取静态文件(如HTML...
6. **并发处理**:为了提高服务器性能,通常会使用多线程或多进程模型,以便同时处理多个客户端请求。Boost.ASIO提供了线程池和工作队列等机制,帮助开发者轻松实现并发。 7. **错误处理和异常安全**:在实现Web...
3. **服务器架构**:单线程、多线程、异步IO(如Node.js的事件驱动模型)或多进程模型的选择及其优缺点。 4. **源代码解析**:分析Web服务器的源代码结构,了解其主要模块,如请求解析、路由处理、响应生成等。 5. *...
4. **多线程或多进程模型**:为了处理并发请求,Web服务器通常采用多线程或多进程模型。当一个新连接到达时,服务器可以创建一个新的线程或进程来处理请求,从而保持主程序的运行。 5. **静态文件服务**:最简单的...
Workerman通过多进程模型和事件驱动机制来提高性能。每个连接都会被分配到一个单独的工作进程,避免了进程间的通信开销。同时,通过非阻塞IO和异步回调,Workerman可以在单个工作进程中处理多个并发连接,显著提高了...
总的来说,WebServer模块的学习不仅涉及Web服务器的基本原理,还包括网络编程、数据转换、组件通信等多个方面的知识。理解这一模块的工作机制对于开发和维护复杂的分布式系统至关重要,特别是对于那些需要提供Web...
总结来说,"PY版多线程webserver.rar"是一个用Python实现的多线程Web服务器,通过`threading`模块实现了并发处理客户端请求的能力。打包后的`server2.exe`使该服务器可在无Python环境的系统上运行,`说明.jpg`则提供...
操作系统实验WebServer是一个重要的实践项目,它涉及到计算机科学的核心领域——操作系统,以及网络服务的关键组件——Web服务器。在这个实验中,我们将深入理解操作系统如何管理资源,特别是如何通过线程池来优化...
2. **多线程或异步I/O**:为了处理并发请求,Web服务器通常会利用多线程或多进程模型,或者使用异步I/O(如epoll)来提高性能。在C++中,可以使用标准库中的`std::thread`,或者考虑使用Boost库中的Asio。 3. **...
在本资源中,我们主要探讨的是“计算机网络高级软件编程技术第11章 Web Server程序源代码”,这是一份深入理解Web服务器工作原理和技术实现的重要资料。Web服务器是互联网基础设施的关键组成部分,它负责接收HTTP...
5. **服务器架构**:简单PHP Web服务器可能采用单线程或多线程模型,处理并发请求。对于学习者来说,理解这些基础架构模式对后续开发更复杂的服务有很大帮助。 6. **错误处理与日志记录**:一个完善的Web服务器需要...
这涉及到操作系统级别的多线程或多进程编程,以及套接字(socket)编程,包括bind、listen和accept等函数的使用。 对于请求解析,TinyHTTPd会读取客户端发送的数据,通常是HTTP请求行(包含方法、URL和协议版本)、...
根据提供的文件信息,本文将深入探讨在uClinux环境下如何实现WebServer及CGI技术,并具体讲解其实现原理、过程以及应用场景。 ### uClinux环境下的WebServer与CGI技术实现 #### WebServer基本原理与功能 Web...