- 浏览: 339202 次
- 性别:
- 来自: 北京
-
最新评论
-
perfect_control:
真的很详细,一些东西很容易被我忽略掉了
使用fprof进行性能分析 -
leeyisoft:
http://www.erlangqa.com/ 怎么变成 “ ...
Erlang问答网站,欢迎各位提出问题,解答问题。 -
simsunny22:
4年之后我才看到 慢慢的干货
Erlang服务器内存耗尽bug跟踪过程 -
爱死我:
...
使用etop查看系统中进程信息 -
宋兵甲:
在跑这个服务的时候,每秒建立一个客户端连接,连续建立10000 ...
自己写一个tcp 通用服务器
并发和顺序是一个令人纠结的问题。
下面是开发中遇到的一个问题
常规时间,系统表现的很“端庄”,不折腾CPU,不玩弄Mem。可是到高峰时,这个家伙就开始变态了。内存狂飙,直至swap最后无法响应。这个状况,当时折腾了一天多。始终无法找到问题所在。最后通过排查及yufeng的帮助,将问题锁定在某些局部process。
Erlang中默认,所有的Process具有同等的执行机会。
我们的系统中有上万个process处理客户连接,上万个cient process的数据,通过一个data_trans prcess处理。而这个process通过Message将数据发送到其他节点。问题就是这里。
client processes将数据发送给data_trans process后,数据的处理就是一个顺序的过程了,从消息队列中获取一条数据,打包,然后发送到其他Node。显然,在client process增加时,data_trans process的数据处理能力,已经跟不上了。所以导致系统恶化,最终崩溃。
怎么解决呢?
1,可以限定系统的并发连接数,保证服务质量(因为系统某些不足,导致此方法不可行)
2,加大data_trans处理能力,减少瓶颈
至于方法2,也有很多具体的实施方法:将数据打包和数据传输部分进行功能分割;创建多个data_trans组成一个process group
其中创建多个process,对代码改动最少,所以为最终选择。
根据yufeng的建议,实现如下:
使用一个supervisour(simple_one_for_one)管理所有的data_trans进程
data_trans的数目,与scheduler数目一致(8核则数目为8)
每个data_trans name为name_N (N为 1..SchedulerNumber)
调用data_trans时,根据caller,获取当前执行scheduler的X,直接将request跳转到name_X的进程去处理.
好处:
根据scheduler数目创建进程组,减少单个进程处理瓶颈
根据scheduler id直接跳转到进程组中某个进程,减少了中间查询,实现直接映射,效率更高.
简单的示意图(假设系统4核):
caller 1 (scheduler_id 3) -\ /------|- process_1 |\
\/ \
caller 2 (scheduler_id 1) --/ \ /--|- process_2 |--
\ / process supervisor(simple_one_for_one)
caller 3 (scheduler_id 4) -\ / \----|- process_3 |--
\/ /
caller 4 (scheduler_id 2) _/ \____|- process_4 |/
(直接映射)
把这个东西在提升一下,抽象出一个叫gen_server_cter的behaviour,其组装多个子gen_server process,调用时,根据调用者的当前scheduler id映射到对应子process name。
gen_server_cter接口:
start_link(CterName, CbMod, Args)
启动gen_server组
参数:CterName - cter name
CbMod - gen_server callback module
Args - 传递给CbMod的参数
cast(CbMod, Req)
异步调用请求
call(CbMod, Req) ->
同步调用请求
其中CbMod module必须实现一个get_name/1函数,用来实现scheduler id到进程名的映射.
比如(假设CbMod为my_module)
get_name(SchedulerId) ->
list_to_atom(lists:concat([my_module, SchedulerId])).
用法:
gen_server_cter:start_link(my_module_group, my_module, Args)
gen_server_cter:cast(my_module, Req)
gen_server_cter:call(my_module, Req)
就是下面这个module完整代码
-module(gen_server_cter). -behaviour(supervisor). -export([start_link/3]). -export([cast/2, call/2]). %% for supervisor -export([init/1]). -export([behaviour_info/1]). -spec behaviour_info(atom()) -> 'undefined' | [{atom(), byte()}]. behaviour_info(callbacks) -> [{get_name,1}]; behaviour_info(_Other) -> undefined. %% @doc start the server start_link(CterName, CbMod, Args) -> Ret = {ok, _Pid} = supervisor:start_link({local, CterName}, ?MODULE, [{callback, CbMod}, {args, Args}]), %io:format("pid:~p~n", [_Pid]), N = erlang:system_info(schedulers), [{ok, _} = supervisor:start_child(CterName, [{index, I}]) || I <- lists:seq(1, N)], Ret. cast(CbMod, Req) -> Handler = select_handler(CbMod), %io:format("handler is:~p~n", [Handler]), gen_server:cast(Handler, Req). call(CbMod, Req) -> Handler = select_handler(CbMod), gen_server:call(Handler, Req). %% %% supervisor callbacks %% init([{callback, CbMod}, {args, Args} | _]) -> Strategy = {simple_one_for_one, 10, 10}, Mod = {undefined, {CbMod, start_link, Args}, permanent, 3000, worker, [CbMod]}, {ok, {Strategy, [Mod]}}. %% internal API select_handler(CbMod) -> I = erlang:system_info(scheduler_id), CbMod:get_name(I).
update(2009.11.24):
在callback模块中,需要做一些小改动,需要添加一个export函数:
get_name(N :: integer()) -> atom().
返回此server对应的name
还需要修改start_link为:
start_link({index, I}) -> ....
评论
或者在同一服务器上拷贝多个服务
这样的代码改动最小

你的建议没明白问题在哪里
或者在同一服务器上拷贝多个服务
这样的代码改动最小

性能提升了,有个问题还是没解决:处理能力问题应该有适当的流量(请求)控制,否则一个短时的高峰就可能把它挂掉,高峰过后服务也没办法快速恢复。
恩,现在没有有效的流量控制,如果突然出现异常,系统还是会不堪重负

现在只是各部分比较协调.
用法应该是Java代码 gen_server_cter:start_link(my_module_group, my_module, Args) gen_server_cter:cast(my_module, Req) gen_server_cter:call(my_module, Req) gen_server_cter:start_link(my_module_group, my_module, Args)
gen_server_cter:cast(my_module, Req)
gen_server_cter:call(my_module, Req)
而不是Java代码 gen_server_cter:start_link(my_module_group, my_module, Args) gen_server_cter:cast(my_module_group, Req) gen_server_cter:call(my_module_group, Req) gen_server_cter:start_link(my_module_group, my_module, Args)
gen_server_cter:cast(my_module_group, Req)
gen_server_cter:call(my_module_group, Req)
谢谢呵呵。疏忽哈。
gen_server_cter:start_link(my_module_group, my_module, Args) gen_server_cter:cast(my_module, Req) gen_server_cter:call(my_module, Req)
而不是
gen_server_cter:start_link(my_module_group, my_module, Args) gen_server_cter:cast(my_module_group, Req) gen_server_cter:call(my_module_group, Req)
发表评论
-
Erlang问答网站,欢迎各位提出问题,解答问题。
2012-03-18 15:07 5340平时收到很多关于Erlang的问题,我都尽量一一解答,可是时间 ... -
Emakefile并行编译
2011-11-17 13:15 7701项目代码越来越多,使用erlang编译也越来越慢。无论是Mak ... -
Erlang服务器内存耗尽bug跟踪过程
2011-10-25 21:44 21972本文描述朋友Erlang服务器内存耗尽bug的解决过程 ... -
inet:getstat/2小用法
2011-04-27 09:32 4621inet:getstat/2的用处 在 ... -
Erlang游戏开发-协议
2011-04-22 16:10 10769Erlang游戏开发-协议 ... -
Gearman Erlang Client
2010-10-17 21:14 3761Gearman Gearman是一个通用的任务调度框架。 ... -
ECUG归来
2010-10-17 21:02 3026今天ECUG V圆满结束了,不知不觉作为讲师已经参加过3次大会 ... -
gen-erl-app快速生成erlang app 框架
2010-04-07 14:22 4068经常需要创建各种erlang app,这个过程一旦掌握,就很繁 ... -
erl-redis发布
2010-03-30 11:44 5860最近几天因为需要,实现了一个redis erlang clie ... -
用Erlang做了很多事
2010-01-19 14:08 5123因为工作及时间关系,最近比较忙碌,没有太多的时间写文章。 ... -
ecug topic - erlang开发实践
2009-11-11 10:04 3793从ecug归来,感觉不错,大家学习探讨的积极性很高哦。 很高 ... -
reltool用户指南
2009-11-02 22:27 6459说明,最近比较忙,没有太多时间更新blog,请各位朋友谅解. ... -
Erlang定时任务server (仿crontab语法)
2009-09-23 18:03 6438好久不写blog了,看到yufeng老大那么活跃,我也“耐不住 ... -
Erlang进程之错?
2009-07-27 15:06 3730前阵子erlang-china关于erla ... -
CNode指南
2009-07-27 14:13 3400好久不发文章,因为工作太忙。这个东西就凑凑数吧。各位见谅。 ... -
Erlang类型及函数声明规格
2009-06-08 22:41 9628Erlang类型及函数声明 ... -
使用etop查看系统中进程信息
2009-05-29 13:57 6229Erlang提供了丰富的开发工具,你认为没有的时候,很可能是你 ... -
又有人投入Erlang的怀抱了:37Signals Campfire loves Erlang
2009-05-14 23:00 3739就喜欢看这样的东西... This is so juicy ... -
list random shuffle实现
2009-05-07 13:41 4387在项目中需要对list进行随机shuffle,但是在erlan ... -
Erlang开发建议(杂记版)
2009-04-24 18:27 6518以下是在erlang项目开发中的一些记录,即包含很多通俗易懂的 ...
相关推荐
probe process("/path/to/mysql_server").function("buf_page_get_gen") { tm = gettimeofday_us() } probe process("/path/to/mysql_server").function("buf_page_release_latch").return { printf("Time:%d\n", ...
合理的参数设置不仅可以提高系统的运行效率,还能在一定程度上解决性能瓶颈问题。本文将根据提供的“weblogic参数.txt”文件中的内容,详细介绍其中涉及到的关键知识点。 #### 二、JRockit 和 Sun JDK 的 Heap Dump...
基于arm64版本的docker-compose文件
台区终端电科院送检文档
埃夫特机器人Ethernet IP 通讯配置步骤
rv320e机器人重型关节行星摆线减速传动装置研发
气缸驱动爬杆机器人的设计().zip
56tgyhujikolp[
内容概要:本文档提供了基于OpenCV的数字身份验证系统的Python代码示例,涵盖人脸检测、训练和识别三个主要功能模块。首先,通过调用OpenCV的CascadeClassifier加载预训练模型,实现人脸检测并采集多张人脸图像用于后续训练。接着,利用LBPH(局部二值模式直方图)算法对面部特征进行训练,生成训练数据集。最后,在实际应用中,系统能够实时捕获视频流,对比已有的人脸数据库完成身份验证。此外,还介绍了必要的环境配置如依赖库安装、文件路径设置以及摄像头兼容性的处理。 适合人群:对计算机视觉感兴趣的研发人员,尤其是希望深入了解OpenCV库及其在人脸识别领域的应用者。 使用场景及目标:适用于构建安全认证系统的企业或机构,旨在提高出入管理的安全性和效率。具体应用场景包括但不限于门禁控制系统、考勤打卡机等。 其他说明:文中提供的代码片段仅为基本框架,可根据实际需求调整参数优化性能。同时提醒开发者注意隐私保护法规,合法合规地收集和使用个人生物识别信息。
内容概要:本文档详细介绍了Java并发编程的核心知识点,涵盖基础知识、并发理论、线程池、并发容器、并发队列及并发工具类等方面。主要内容包括但不限于:多线程应用场景及其优劣、线程与进程的区别、线程同步方法、线程池的工作原理及配置、常见并发容器的特点及使用场景、并发队列的分类及常用队列介绍、以及常用的并发工具类。文档旨在帮助开发者深入理解和掌握Java并发编程的关键技术和最佳实践。 适合人群:具备一定Java编程经验的研发人员,尤其是希望深入了解并发编程机制、提高多线程应用性能的中级及以上水平的Java开发者。 使用场景及目标:①帮助开发者理解并发编程的基本概念和技术细节;②指导开发者在实际项目中合理运用多线程和并发工具,提升应用程序的性能和可靠性;③为准备Java技术面试的候选人提供全面的知识参考。 其他说明:文档内容详尽,适合用作深度学习资料或面试复习指南。建议读者结合实际编码练习,逐步掌握并发编程技巧。文中提到的多种并发工具类和容器,均附有具体的应用场景和注意事项,有助于读者更好地应用于实际工作中。
这个数据集包含了日常步数统计、睡眠时长、活跃分钟数以及消耗的卡路里,是个人健康与健身追踪的一部分。 该数据集非常适合用于以下实践: 数据清洗:现实世界中的数据往往包含缺失值、异常值或不一致之处。例如,某些天的步数可能缺失,或者存在不切实际的数值(如10,000小时的睡眠或负数的卡路里消耗)。通过处理这些问题,可以学习如何清理和准备数据进行分析。 探索性分析(发现日常习惯中的模式):可以通过分析找出日常生活中的模式和趋势,比如一周中哪一天人们通常走得最多,或是睡眠时间与活跃程度之间的关系等。 构建可视化图表(步数趋势、睡眠与活动对比图):将数据转换成易于理解的图形形式,有助于更直观地看出数据的趋势和关联。例如,绘制步数随时间变化的趋势图,或是比较睡眠时间和活动量之间的关系图。 数据叙事(将个人风格的追踪转化为可操作的见解):通过讲述故事的方式,把从数据中得到的洞察变成具体的行动建议。例如,根据某人特定时间段内的活动水平和睡眠质量,提供改善健康状况的具体建议。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
nginx
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
模拟知识付费小程序,可流量主运营模式
什么是普通上传 调用接口一次性完成一个文件的上传。 普通上传2个缺点 文件无法续传,比如上传了一个比较大的文件,中间突然断掉了,需要重来 大文件上传太慢 解决方案 分片上传
英二2010-2021阅读理解 Part A 题干单词(补).pdf
2023-04-06-项目笔记-第四百五十五阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.453局变量的作用域_453- 2025-04-01
微信小程序项目课程设计,包含LW+ppt