- 浏览: 586580 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (365)
- Tomcat调优 (2)
- Apache Http (20)
- Webserver安装 (5)
- Linux安装 (28)
- Linux常用命令 (17)
- C语言及网络编程 (10)
- 文件系统 (0)
- Lucene (12)
- Hadoop (9)
- FastDFS (8)
- 报表 (0)
- 性能测试 (1)
- JAVA (18)
- CSharp (3)
- C++ (38)
- BI (0)
- 数据挖掘 (0)
- 数据采集 (0)
- 网址收集整理 (3)
- Resin (0)
- JBoss (0)
- nginx (0)
- 数据结构 (1)
- 随记 (5)
- Katta (1)
- Shell (6)
- webservice (0)
- JBPM (2)
- JQuery (6)
- Flex (41)
- SSH (0)
- javascript (7)
- php (13)
- 数据库 (6)
- 搜索引擎排序 (2)
- LVS (3)
- solr (2)
- windows (1)
- mysql (3)
- 营销软件 (1)
- tfs (1)
- memcache (5)
- 分布式搜索 (3)
- 关注的博客 (1)
- Android (2)
- clucene (11)
- 综合 (1)
- c c++ 多线程 (6)
- Linux (1)
- 注册码 (1)
- 文件类型转换 (3)
- Linux 与 asp.net (2)
- perl (5)
- coreseek (1)
- 阅读器 (2)
- SEO (1)
- 励志 (1)
- 在线性能测试工具 (1)
- yii (7)
- 服务器监控 (1)
- 广告 (1)
- 代理服务 (5)
- zookeeper (8)
- 广告联盟 (0)
- 常用软件下载 (1)
- 架设自已的站点心得 (0)
最新评论
-
terry07:
java 7 用这个就可以了 Desktop desktop ...
关于java Runtime.getRunTime.exec(String command)的使用 -
HSINKING:
怎么设置打开的dos 窗口是指定的路径下
关于java调用bat文件,不打开窗口 -
liubang201010:
hyperic hq更多参考资料,请访问:http://www ...
hyperic-hq -
^=^:
STDIN_FILENO是unistd.h中定义的一个numb ...
深入理解dup和dup2的用法 -
antor:
留个记号,学习了
[转]用java流方式判断文件类型
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://intelisn.blog.51cto.com/626310/130445
多核分布式队列的实现:"偷"与"自私"的运用
3. 本地化队列的实现思路
要给线程指定一个本地化队列,通常的做法是先将创建好的队列放入一个数组中,然后给线程编号,从0开始进行编号,编号为0的线程对应于数组下标为0位置上存放的队列,编号为1的线程对应于数组下标为1位置上存放的队列,...。
每个线程要获取自己的本地化队列时,只需要先获取线程编号,然后就可以通过线程编号去访问对应的队列,由于每个线程的编号都不相同,因此每个线程访问的队列都不相同,即每个队列只有一个线程访问它,这样就可以实现每个线程的本地化队列。
那么如何给线程编号从0开始编号呢,操作系统并没有直接提供这种功能。即使操作系统提供了线程从0开始编号的功能也没有用,因为并不一定所有的线程都会访问分布式队列。例如有8个线程,其中编号为0,3,5,7的线程会访问分布式队列,那么在创建分布式队列时,就需要创建8个本地队列,否则线程编号将无法和存放队列的数组下标对应起来。
看到这里,目标已经很明确了,那就是要给所有访问分布式队列的线程从0开始依次编号。比如有N个线程要访问分布式队列,那么需要给这N个线程依次编号为0,1,...N-1。下面就来讨论如何给线程编号的问题。
4. 给线程编号的方法
在操作系统中,通常提供了线程本地存储的API,通过API可以给每个线程设定一个数据(可以是指针,也可以是一个整数),同时也可以通过API来取出当前线程设置的那个数据。比如给一个线程A设定一个整数0,那么线程A执行的任何地方都可以调用相应的API获取到整数0,这样就可以在程序的任何地获取到线程A的编号为0。
在Windows系列操作系统中,提供了Tls_Alloc(),Tls_SetValue(),Tls_GetValue(),Tls_Free()这几个函数来实现线程本地存储操作。
pthread中,可以通过pthread_key_create(), pthread_setspecific(), pthread_getspecific()等函数来实现线程本地存储操作,其中pthread_create_key()和Tls_Alloc()功能相同,只是参数有所不同,Tls_SetValue()和pthread_setspecific()功能等价,Tls_GetValue()和 pthread_getspecific()功能等价。
下面演示一下TlsAlloc(),Tls_SetValue(),Tls_GetValue(),Tls_Free()这几个函数的基本用法。
DWORD g_dwTlsIndex;
LONG volatile g_dwThreadId = 0;
int GetId()
{
//获取当前执行线程的由TlsSetValue()设置的值
int nId = (int)TlsGetValue(g_dwTlsIndex);
return (nId-1);
}
void ThreadFunc(void *args)
{
LONG Id = AtomicIncrement (&g_dwThreadId); //对g_dwThreadId进行原子加1操作
TlsSetValue(g_dwTlsIndex, (void *)Id); //给当前执行的线程设置一个值
printf("ThreadFunc2: Thread Id = %ld\n", GetId());
}
int main(int argc, char* argv[])
{
g_dwTlsIndex = TlsAlloc(); //分配一个线程本地存储索引,需要在创建线程前执行
_beginthread(ThreadFunc, 0, NULL);
_beginthread(ThreadFunc, 0, NULL);
Sleep(100); //延时等待上面两个线程执行完
TlsFree(g_dwTlsIndex);
return 0;
}
需要说明一下,在ThreadFunc()函数中,使用了一个AtomicIncrement()函数,这个函数相当于Windows操作系统中的InterlockedIncrement()函数。在Widnows系统中,可以使用以下宏定义来实现AtomicIncrement()函数:
#define AtomicIncrement(x) InterlockedIncrement(x)
上面程序在运行后,会打印出以下结果:
ThreadFunc: Thread Id = 0
ThreadFunc: Thread Id = 1
从上面代码和执行结果可以看出,虽然GetValue()在ThreadFunc()函数中执行,但是两个线程执行GetValue()得到的值是不同的,一个线程得到的是0,另外一个线程得到的是1。这主要是因为两个线程调用TlsSetValue()设置的值并不相同,一个为1,另一个为2。
需要注意的是,TlsGetValue()的返回值为0表示失败,所以使用TlsSetValue()函数时,应该从1开始设置,然后在GetId()函数中,返回的是TlsGetValue()的返回值减1。
采用上面的方法,就可以设计出分布式队列中的线程Id自动编号和获取功能了。下面是详细的实现代码:
class CDistributedQueue {
private:
DWORD m_dwTlsIndex;
LONG volatile m_lThreadIdIndex;
public:
CDistributedQueue();
virtual ~CDistributedQueue();
LONG ThreadIdGet();
//可以添加其他成员函数在下面
};
CDistributedQueue::CDistributedQueue()
{
m_dwTlsIndex = TlsAlloc();
m_lThreadIdIndex = 0;
}
CDistributedQueue::~CDistributedQueue()
{
TlsFree(m_dwTlsIndex);
}
LONG CDistributedQueue::ThreadIdGet()
{
LONG Id = (LONG )TlsGetValue(m_dwTlsIndex);
if ( Id == 0 )
{
Id = AtomicIncrement(&m_lThreadIdIndex);
TlsSetValue(Id);
}
return (Id - 1);
}
上面的代码中,设置或获取线程编号都在ThreadIdGet()一个成员函数内完成,先判断获取的Id是否为0,如果为0,表明线程还没有被设置 Id,因此将m_lThreadIdIndex原子加1,然后再设置给对应的线程。每调用一次TlsSetValue()函数,其设置的Id值依次加1,这样就可以得到一个1,2,3,...序列。每个线程调用了TlsSetValue()函数后,下一个调用TlsGetValue()函数时,获得的值一定大于0,因此每个线程最多只能执行TlsSetValue()函数一次。
采用上面的方法来获取线程编号,必须保证创建的本地队列数量大于等于访问队列的线程数量,否则队列数量不足,将会造成没有足够的本地队列供线程使用,程序中可能会造成越界等不可预测的异常。常用的解决办法是将本地队列的数量扩大一倍。
上面这种线程编号方法,非常方便,任何访问分布式队列的线程都可以被自动编号,调用分布式队列的线程不需要为编号操心。
有了给线程自动编号的方法后,就可以实现分布式队列的各个具体操作如进队、出队等。当然在实现具体的操作代码前,有必要了解一下分布式队列中是如何进行进队和出队操作的。
本文出自 “Intel_ISN” 博客,请务必保留此出处http://intelisn.blog.51cto.com/626310/130445
多核分布式队列的实现:"偷"与"自私"的运用
3. 本地化队列的实现思路
要给线程指定一个本地化队列,通常的做法是先将创建好的队列放入一个数组中,然后给线程编号,从0开始进行编号,编号为0的线程对应于数组下标为0位置上存放的队列,编号为1的线程对应于数组下标为1位置上存放的队列,...。
每个线程要获取自己的本地化队列时,只需要先获取线程编号,然后就可以通过线程编号去访问对应的队列,由于每个线程的编号都不相同,因此每个线程访问的队列都不相同,即每个队列只有一个线程访问它,这样就可以实现每个线程的本地化队列。
那么如何给线程编号从0开始编号呢,操作系统并没有直接提供这种功能。即使操作系统提供了线程从0开始编号的功能也没有用,因为并不一定所有的线程都会访问分布式队列。例如有8个线程,其中编号为0,3,5,7的线程会访问分布式队列,那么在创建分布式队列时,就需要创建8个本地队列,否则线程编号将无法和存放队列的数组下标对应起来。
看到这里,目标已经很明确了,那就是要给所有访问分布式队列的线程从0开始依次编号。比如有N个线程要访问分布式队列,那么需要给这N个线程依次编号为0,1,...N-1。下面就来讨论如何给线程编号的问题。
4. 给线程编号的方法
在操作系统中,通常提供了线程本地存储的API,通过API可以给每个线程设定一个数据(可以是指针,也可以是一个整数),同时也可以通过API来取出当前线程设置的那个数据。比如给一个线程A设定一个整数0,那么线程A执行的任何地方都可以调用相应的API获取到整数0,这样就可以在程序的任何地获取到线程A的编号为0。
在Windows系列操作系统中,提供了Tls_Alloc(),Tls_SetValue(),Tls_GetValue(),Tls_Free()这几个函数来实现线程本地存储操作。
pthread中,可以通过pthread_key_create(), pthread_setspecific(), pthread_getspecific()等函数来实现线程本地存储操作,其中pthread_create_key()和Tls_Alloc()功能相同,只是参数有所不同,Tls_SetValue()和pthread_setspecific()功能等价,Tls_GetValue()和 pthread_getspecific()功能等价。
下面演示一下TlsAlloc(),Tls_SetValue(),Tls_GetValue(),Tls_Free()这几个函数的基本用法。
DWORD g_dwTlsIndex;
LONG volatile g_dwThreadId = 0;
int GetId()
{
//获取当前执行线程的由TlsSetValue()设置的值
int nId = (int)TlsGetValue(g_dwTlsIndex);
return (nId-1);
}
void ThreadFunc(void *args)
{
LONG Id = AtomicIncrement (&g_dwThreadId); //对g_dwThreadId进行原子加1操作
TlsSetValue(g_dwTlsIndex, (void *)Id); //给当前执行的线程设置一个值
printf("ThreadFunc2: Thread Id = %ld\n", GetId());
}
int main(int argc, char* argv[])
{
g_dwTlsIndex = TlsAlloc(); //分配一个线程本地存储索引,需要在创建线程前执行
_beginthread(ThreadFunc, 0, NULL);
_beginthread(ThreadFunc, 0, NULL);
Sleep(100); //延时等待上面两个线程执行完
TlsFree(g_dwTlsIndex);
return 0;
}
需要说明一下,在ThreadFunc()函数中,使用了一个AtomicIncrement()函数,这个函数相当于Windows操作系统中的InterlockedIncrement()函数。在Widnows系统中,可以使用以下宏定义来实现AtomicIncrement()函数:
#define AtomicIncrement(x) InterlockedIncrement(x)
上面程序在运行后,会打印出以下结果:
ThreadFunc: Thread Id = 0
ThreadFunc: Thread Id = 1
从上面代码和执行结果可以看出,虽然GetValue()在ThreadFunc()函数中执行,但是两个线程执行GetValue()得到的值是不同的,一个线程得到的是0,另外一个线程得到的是1。这主要是因为两个线程调用TlsSetValue()设置的值并不相同,一个为1,另一个为2。
需要注意的是,TlsGetValue()的返回值为0表示失败,所以使用TlsSetValue()函数时,应该从1开始设置,然后在GetId()函数中,返回的是TlsGetValue()的返回值减1。
采用上面的方法,就可以设计出分布式队列中的线程Id自动编号和获取功能了。下面是详细的实现代码:
class CDistributedQueue {
private:
DWORD m_dwTlsIndex;
LONG volatile m_lThreadIdIndex;
public:
CDistributedQueue();
virtual ~CDistributedQueue();
LONG ThreadIdGet();
//可以添加其他成员函数在下面
};
CDistributedQueue::CDistributedQueue()
{
m_dwTlsIndex = TlsAlloc();
m_lThreadIdIndex = 0;
}
CDistributedQueue::~CDistributedQueue()
{
TlsFree(m_dwTlsIndex);
}
LONG CDistributedQueue::ThreadIdGet()
{
LONG Id = (LONG )TlsGetValue(m_dwTlsIndex);
if ( Id == 0 )
{
Id = AtomicIncrement(&m_lThreadIdIndex);
TlsSetValue(Id);
}
return (Id - 1);
}
上面的代码中,设置或获取线程编号都在ThreadIdGet()一个成员函数内完成,先判断获取的Id是否为0,如果为0,表明线程还没有被设置 Id,因此将m_lThreadIdIndex原子加1,然后再设置给对应的线程。每调用一次TlsSetValue()函数,其设置的Id值依次加1,这样就可以得到一个1,2,3,...序列。每个线程调用了TlsSetValue()函数后,下一个调用TlsGetValue()函数时,获得的值一定大于0,因此每个线程最多只能执行TlsSetValue()函数一次。
采用上面的方法来获取线程编号,必须保证创建的本地队列数量大于等于访问队列的线程数量,否则队列数量不足,将会造成没有足够的本地队列供线程使用,程序中可能会造成越界等不可预测的异常。常用的解决办法是将本地队列的数量扩大一倍。
上面这种线程编号方法,非常方便,任何访问分布式队列的线程都可以被自动编号,调用分布式队列的线程不需要为编号操心。
有了给线程自动编号的方法后,就可以实现分布式队列的各个具体操作如进队、出队等。当然在实现具体的操作代码前,有必要了解一下分布式队列中是如何进行进队和出队操作的。
本文出自 “Intel_ISN” 博客,请务必保留此出处http://intelisn.blog.51cto.com/626310/130445
发表评论
-
[转载]strftime() 函数_时间格式
2011-01-12 11:21 1195[转载]strftime() 函数 (2007-12-06 1 ... -
fork函数
2011-01-11 13:23 921引用 在linux中,只有一 ... -
如何调试守护进程
2011-01-11 13:05 3218如何调试守护进程 我写 ... -
UNIX管道编程——使用pipe函数,dup函数,dup2函数
2011-01-11 10:02 51822009-12-29 11:46管道在unix ... -
c中的管道及复制描述符
2011-01-10 17:22 12471、 #include <stdio.h& ... -
如何在运行时确定对象类型(RTTI)
2011-01-10 11:45 946引用作者:NorthTibet RTTI 是“R ... -
string, char*, int类型转换 , c++强制转化
2011-01-10 10:04 16516一、 以下是常用的几种类型互相之间的转换 string 转 ... -
linux信号机制之sigaction结构体浅析
2011-01-10 00:27 1408linux 2009-02-20 16:47:00 阅读460 ... -
Linux下的管道编程技术-dup函数和dup2函数
2011-01-09 23:45 1151from [url]http://www.xxlinux.co ... -
Linux下使用C/C++访问数据库
2011-01-07 16:19 1346Linux下使用C/C++访问数据库——MySQL篇 ... -
Boost和STL学习资料大全
2011-01-06 09:38 2643from http://blog.csdn.net/k2eat ... -
linux平台上编译安装boost库
2011-01-06 09:33 6742from http://dev.firnow.com/co ... -
C++多线程入门
2010-12-30 09:52 1253第1节 背景 为了更好 ... -
c++中__declspec用法总结
2010-12-29 17:47 1791c++中__declspec用法总结C++ ... -
__cplusplus的用处
2010-12-29 14:07 1066作者: Aprilgogo 发表日期: 2007-03-1 ... -
#ifdef __cplusplus深度剖析
2010-12-29 14:06 830时常在cpp的代码之中看 ... -
C和C++之间库的互相调用
2010-12-29 13:44 1059C和C++之间库的互相调用 昨晚有个朋友问我关于在C中调用C ... -
c, c++ 库调用相关知识
2010-12-29 13:41 13851。 重载是如何实现的 ... -
放在函数后面的const是什么意思?
2010-12-17 16:13 1482经常看到这样的定义: void f() const ... -
临时记录
2010-12-15 15:37 8241\ c开发包典型的名字是 glibc-devel-somet ...
相关推荐
总结来说,多核分布式系统中的进程间通信是电信设备高性能运行的基础,涉及到多种通信机制的选择与优化。理解和掌握这些技术对于设计高效、可靠的电信系统至关重要。通过深入研究和实践,我们可以更好地利用多核架构...
文件“多核分布式计算环境下结构分析的高效通信方法.pdf”很可能是详细的技术报告或学术论文,旨在探讨如何在多核系统中实现高效的数据交换和任务协作。 多核分布式计算环境由多个具有独立处理核心的处理器组成,...
在实现多核分布式操作系统时,设计者必须面对如何从全局角度管理和利用系统资源的挑战。这需要对系统资源进行有效统计,并采用恰当的调度策略来提高资源利用率。文章提到的主从控制方式能够很好适应这种需求,主节点...
SR6600 业务多核分布式处理技术白皮书
此是自己优化多核多线程测试用的一个基准程序,是一个udp 的iocp实现,不具多少实用性,但具有研究性.采用分布式队列思想,尽量减少因同步而导致的线程切换带来的开销.在程序中采用tls,使每个线程都有自己的本地队列,...
3. 分布式队列:在多核环境中,分布式队列可以用来协调不同任务的执行。每个核心可以独立地添加或移除任务,从而实现任务调度的并行化。 4. 分布式堆栈:类似地,分布式堆栈允许在多核之间共享数据,支持并行的push...
《多核与GPU编程》一书的附录
机器学习 深度学习 pytorch tensorflow
常见的分布式数据结构包括分布式哈希表(DHT)、分布式队列、分布式锁等,它们通过巧妙的分布式算法实现高效的数据访问和操作。 分布式哈希表是一种用于存储和检索键值对的数据结构,它将数据分散到多个节点上,...
本压缩包文件“多核计算中的分布式数据结构.rar”很可能包含了关于如何设计和实现这类数据结构的详细资料。 分布式数据结构是指数据分布在多个计算节点上,每个节点可以是多核系统的一个核心或者单独的处理器。这样...
在当前的IT领域中,机器视觉技术与多核芯片分布式存储效率检测系统的结合是跨学科技术创新的一个亮点。机器视觉在图像处理领域发挥着越来越重要的作用,尤其是在需要高精度、高效率的半导体工业中。而多核芯片作为...
XXL-MQ是一款专为Java开发设计的轻量级分布式消息队列系统,它提供了高效、稳定的消息传递功能,能够帮助开发者在分布式环境下构建可靠的数据通信。作为一款强大的中间件,XXL-MQ旨在解决微服务架构中的异步处理、...
作者都是长期供职于Intel公司的资深软件工程师和结构师,书中融入了他们自己丰富的软硬件开发经验,可以为面向多核体系结构进行并行程序设计的开发人员提供巨大的帮助。不论对从未接触过并行程序设计的开发人员,...
"分布式动态可重构多核处理器上的取指停顿容忍技术" 本文主要研究了分布式动态可重构多核处理器(DDRCMP)上的取指停顿容忍技术,以提高串行程序的性能。DDRCMP结构能够在灵活支持多线程程序运行的同时,通过动态地...
基于Pytorch分布式包的单机多核CPU实现横向联邦学习项目源码+文档说明(毕业设计),本资源中的源码都是经过本地编译过可运行的,评审分达到98分,资源项目的难度比较适中,内容都是经过助教老师审定过的能够满足...