fourinone
- 浏览: 133317 次
-
博客专栏
-
-
基于Fourinone实现...
浏览量：58360
最新评论
-
tx6731：
同问2楼问题，一直没有输出result，除非加sleep
<一>基于Fourinone实现分布式计算上手指南和demo -
妞给爷小个：
<一>基于Fourinone实现分布式计算上手指南和demo -
Mac_J：
楼主和我的想法几乎一模一样
Fourinone架构原理ppt -
chinshishoo：
开始学习分布式，找到这个4in1，立马放弃hadoop，had ...
CoolHash数据库引擎压测对比报告 -
fourinone：
lovingshu 写道 ，看了相关的，觉得coolhash确 ...
CoolHash数据库的产品宣言（Fourinone4.0版）
文章列表
Fourinone当前最新版本为4.17.10版本，原Google code迁移到github code，原国内oschina code和csdn code合并到gitee code
技术博客内容为时间倒排，新来朋友可以翻到最后一页按照数字标示查阅。
https://github.com/fourinone/fourinone
https://gitee.com/fourinone/fourinone
本软件遵循apache2.0开源软件协议，自由分享
邮箱:Fourinone@yeah.net
企鹅群1:1313859
企鹅群2:241116021
企鹅群3:23321760
关于F ...
虽然现在最火的是AI，但是大数据和计算能力仍然是机器学习/AI算法的重要支撑，我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据，通过消息通道发送到大数据平台进行存储、加工和统计，然后在统计数据之上提供算法挖掘用户偏好行为和画像，为此，我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau（日活）、mau（月活）等指标，这个过程存储占用越少，计算时间越快越好。Fourinone(CoolHash)拥有原创数据库引擎设计能力和知识产权，能够在引擎层面灵活扩充各种功能支持，为了提供大数据统计计算的最优解决方案，4.17在引擎上增强了以下特性：
...
为了彻底理解深度学习，我们到底需要掌握哪些数学知识呢？经常看到会列出一系列数学科目：微积分、线性代数、概率论、复变函数、数值计算等等。这些数学知识有相关性，但实际上这是一个最大化的知识范围，学习成本会非常久，本文尝试归纳理解深度学习所需要的最小化数学知识和推导过程。
http://blog.csdn.net/wemedia/details.html?id=41335
本文整理自CSDN架构师专家群技术分享内容：关于并行计算的概念有非常多，硬件落地其实就只有两种，CPU上的并行计算和GPU上的并行计算，GPU做点积这样的矢量计算（矩阵计算）有优势，但目前还运行不了操作系统和数据库，比较多用于研究性质的计算。在我们生产系统中运用最多的是CPU上的并行计算，其落地方式也只有两种，多线程和多进程。围绕多线程、多进程结合通信技术的灵活设计，它的应用范围非常广泛，不光用于并行计算，也是大部分的服务器技术、分布式技术、中间件技术的重要实现技术。Fourinone同时提供多线程和多进程的并行计算，并且能实现两者之间的无缝切换，而不需要改一行业务计算的逻辑代码，计算过程中 ...
http://www.iteye.com/news/31357
CoolHash数据库引擎介绍：
http://www.iteye.com/news/29025-Fourinone-CoolHash
4.15.08升级版主要增强了CoolHash以下功能：1、为了方便在Tomcat等多线程服务器内调用，开通了CoolHash的多线程客户端支持(4.05版由于jvm安全隔离性考虑只支持多进程 ...
http://wenku.it168.com/d_001613593.shtml
或者本页附件下载
Coolhash当前性能指标：读写吞吐量超过百万，千万级别查询1秒完成，连续48小时打满CPU强压力运行稳定。redis官方公布读写性能在10万tps，leveldb官方公布写性能在40万tps，读在6万tps，redis和leveldb都是倾向k/v高速读写，但不具备高效检索功能，没有join关联设计。coolhash可以拿去pk世界上任何的数据库引擎产品。下面以redis为例进行了详细测试和技术分析，leveldb的性能可详见其官方资料，在写性能上优于redis，但是读性能和多数据结构支持上不如redis，leveldb读代价高是因为需要在内存以及各级数据文件逐项查找并要优先考虑数据最新状 ...
Fourinone4.0版新特性：一个高性能的数据库引擎CoolHash(酷哈嘻)
一、前言：如何写一个数据库
如果将操作系统和业务应用之间的软件都统称中间件的话，那么最重要的软件无疑是数据库，它比web应用服务器市场更大，几乎所有的业 ...
感谢java图书出版权威机械工业出版社出版了《大规模分布式系统架构与设计实战》一书，该书相对于技术博客和指南更加详细完整的介绍了fourinone的设计思想和架构原理，收集了众多典型示例并附有大量图示步骤，手把手教你掌 ...
实时流计算的场景归纳起来多半是：
业务系统根据实时的操作，不断生成事件（消息/调用），然后引起一系列的处理分析，这个过程是分散在多台计算机上并行完成的，看上去就像事件连续不断的流经多个计算节点处理，形成一个实时流计算系统。
市场上流计算产品有很多，主要是通过消息中枢结合工人模式实现，大致过程如下：
1、开发者实现好流程输入输出节点逻辑，上传job到任务生产者
2、任务生产者将任务发送到zookeeper，然后监控任务状态
3、任务消费者从zookeeper上获取任务
4、任务消费者启动多个工人进程，每个进程又启动多个线程执行任务
5、工人之间通过zeroMQ交互
我们看看如何做一 ...
fourinone-3.04.25最新版升级内容:
1、编译和运行环境升级为jdk7.0版本；
2、计算中止和超时中止的支持，比如多台计算机工人同时执行查找，一旦某台计算机工人找到，其余工人全部中止并返回。以及可以由工人控制或者框架控制的计算过程超时中止。
3、一次性启动多工人进程支持，可以通过程序api一次性启动和管理“ParkServer/工头/工人”多个进程，并附带良好的日志输出功能，用于代替写批处理脚本方式，方便部署和运行。
4、工人服务化模式的支持，把工人当作通用服务来使用和封装。
5、增加了相应指南和demo。
下载地址: http://code.google.com/p/four ...
谈到并行计算应用，会有人想到PageRank算法，我们有成千上万的网页分析链接关系确定排名先后，借助并行计算完成是一个很好的场景。长期以来，google的创始发明PageRank算法吸引了很多人学习研究，据说当年google创始者兴奋的找到yahoo公司，说他们找到一种更好的搜索引擎算法，但是被yahoo公司技术人员泼了冷水，说他们关心的不是更好的技术，而是搜索的盈利。后来google包装成了“更先进技术的新一代搜索引擎”的身份，逐渐取代了市场，并实现了盈利。
由于PageRank算法有非常高的知名度和普及度，我们接下来以PageRank算法为例讲述“并行计算+数据算法”的经典搭配，并且这种“ ...
关于圆周率大家再熟悉不过了：
我们从课本上学习到早在一千多年前，祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后，计算圆周率被用来检测计算机的硬件性能，昼夜燃烧cpu看会不会出问题…另外一些人也想看看这 ...
使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下：
总的来说，Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃，框架通常会捕获所有的错误反馈给开发者去处理，但是框架本身不自作主张，替开发者考虑处理方案，只有这样框架才能从特定场景中抽象出来，给开发者更灵活的发挥和去满足各种更复杂业务容错情况。
那么框架究竟关注和不关注哪个层面的故障呢？
并行计算过程中，通常有两种类型的故障：一种是系统故障引起的计算中断（宕机和网络故障）, 一种是业务逻辑意义上的错误数据。前者是框架关注的，后者是业务逻辑开发者关 ...