转载请注明：@ni掌柜 nileader@gmail.com
本文主要是讨论下两个类似产品：ZooKeeper和Diamond在配置管理这个应用场景上的异同点。
Diamond，顾名思义，寄寓了开发人员对产品稳定性的厚望，希望它像钻石一样，提供稳定的配置访问。Diamond是淘宝网Java中间件团队的核心产品之一，服务于集团线上很多核心应用。目前已经开源，开源地址在：http://code.taobao.org/p/diamond/wiki/index/。
数据持久性
Diamond主要针对的是持久数据，这些数据有个共同的特点是：集群中一批机器都会使用，但是数据的更新频率不大，且希望diamond能够永久存储。
ZooKeeper即可以存储持久数据，也可以存储非持久数据。持久数据和diamond中的持久数据都类似，所谓的非持久数据是指这些数据的生命周期和数据创建者的会话生命周期绑定，一旦会话结束，那么这些非持久数据也会被清除。
推拉模型
本质上，两个产品都是“拉”模式的，即都是通过客户端自己去服务器获取最新数据。具体实现上，两个产品分别如下：
在Diamond中，客户端每隔15s轮询服务器，比对数据是否更新，从而获取最新数据。
在ZooKeeper中，则是通过客户端对相应的数据path注册Watcher，当数据有更新的时候，服务器会有事件通知，注意，这个通知仅仅是告诉客户端对应的数据有更新了，具体数据内容需要客户端根据自己的情况来决定是否需要获取最新数据。因此在实时性方面，ZooKeeper比Diamond高一些。
服务器数据存储
在数据存储上，ZooKeeper和Diamond差别比较大。
首先来看下Diamond的数据存储。Diamond的数据存储以mysql数据库为中心，所有在mysql中的数据都是最新的，客户端的所有写请求，都会首先写入数据库，同时会dump数据到Server的本地文件中，所有读请求都是直接走这个静态文件。
在ZooKeeper中，所有运行时数据都是存储在内存中，客户端的所有读写操作都是针对这份内存数据来进行的。同时，内存中的数据，ZK会以快照的形式dump到指定文件中去，配合事务日志，帮助服务器在下次重启的时候，能够加载正确的数据到内存中去。
数据模型
Diamond的数据都是以行组织的，这也更便于它使用mysql来管理数据。Diamond的基本数据结构包含dataid，group和content，根据group，可以将一组相关的数据组合起来。
ZooKeeper中，使用树形结构来组织数据，每个节点类型于一个文件系统的路径，一个节点下面也可以创建多个子节点来规则一些相关的数据。
容灾
在容灾方面，diamond做得相当的完备：
1．所有客户端的读请求，都是直接读取服务器端的本地静态文件，因此，即使数据库挂了，都不会影响diamond的读服务。而读服务在所有使用diamond的应用场景中，占到了绝大部分。
2．Diamond客户端还保存了数据的快照，客户端每次从服务器成功获取数据后，都会把这份数据保存到本地文件系统中，称为快照文件。这个快照文件是为了防止在服务器无法获取数据的时候，能够在这个快照中获取数据。
3．客户端还会有一个容灾目录，变个容灾目录是在服务器完全不可用的时候，运维人员可以手动在这个容灾目录中创建相关目录结构的数据，diamond就就会优先从这个目录中获取数据。
4. 说到这里，我们就可以给diamond的数据获取优先级作一个总结：
首先都会从容灾目录中获取数据——无法从容灾目录获取数据的话，就通过网络到服务器请求数据——如果无法从服务器获取数据，那么就从本地的snapshot中获取数据。
接下来看看ZooKeepe的容灾，做得很少，只有以下一点：
1.ZooKeeper实现了paxos算法，有效的解决了分布式单点问题。以一个3台机器构成的集群为例，任意一台ZK挂掉，都不会影响集群的数据一致性。
总结：在容灾方面，diamond有很大的优势，也符合了diamond的稳定性要求。
数据大小
Diamond对单个数据的大小，没有严格的限制，通常2M左右的数据大小都是没有问题的。而在ZooKeeper中，由于全量数据都是存储在内存中，并且需求进行集群机器间的数据两步，所以对单个数据的大小有严格的限制，默认单个数据节点的最大数据大小是1M。
数据追加与聚合
Diamond支持对数据的追加与聚合功能，即对同一个dataid的写入操作，可以设置为追加。而ZooKeeper目前不支持，只有覆盖写。
转自：http://nileader.blog.51cto.com/1381108/1046316
分享到：
相关推荐
基于springboot的文物管理系统源码数据库文档.zip
论文描述：该论文研究了某一特定领域的问题，并提出了新的解决方案。论文首先对问题进行了详细的分析和理解，并对已有的研究成果进行了综述。然后，论文提出了一种全新的解决方案，包括算法、模型或方法。在整个研究过程中，论文使用了合适的实验设计和数据集，并进行了充分的实验验证。最后，论文对解决方案的性能进行了全面的评估和分析，并提出了进一步的研究方向。 源码内容描述：该源码实现了论文中提出的新的解决方案。源码中包含了算法、模型或方法的具体实现代码，以及相关的数据预处理、实验设计和性能评估代码。源码中还包括了合适的注释和文档，以方便其他研究者理解和使用。源码的实现应该具有可读性、可维护性和高效性，并能够复现论文中的实验结果。此外，源码还应该尽可能具有通用性，以便在其他类似问题上进行进一步的应用和扩展。
基于SpringBoot+Vue的美容店信息管理系统源码数据库文档.zip
IMG_9750.PNG
javaweb项目 - 学生管理系统
前端铺子开发者 前端杂货铺 小程序在线课堂+工具组件小程序uniapp移动端.zip
<项目介绍> - 前台技术框架： Bootstrap(一个HTML5响应式框架） 程序开发环境：myEclipse/Eclipse/Idea都可以 + mysql数据库 后台架构框架: SSM(SpringMVC + Spring + Mybatis) - 不懂运行，下载完可以私聊问，可远程教学 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
# 基于PaddleDetection框架的人流量统计系统 ## 项目简介 本项目是一个基于PaddleDetection框架的人流量统计系统，专注于静态和动态场景下的人员计数和行人检测。项目涵盖了从数据准备、模型选择、训练、评估、优化到预测和部署的完整流程，旨在提供高效、准确的人流量统计解决方案。 ## 主要特性和功能 多模型支持支持多种模型选择，如DeepSORT、JDE和FairMOT，适用于多目标追踪场景。 模型优化提供多种优化策略，包括数据增强、可变形卷积、syncbn+ema、attention和GIoU Loss，以提升模型精度。 性能加速支持TensorRT推理加速，显著提升模型性能。 数据增强提供多种数据增强方式，如cutmix、syncbn和ema，进一步优化模型性能。 模型导出支持模型导出，便于模型部署和上线。 ## 安装使用步骤 1. 安装PaddleDetection框架 bash
Cocos2d-x教程视频Cocos2d-x游戏实战项目开发记忆卡片提取方式是百度网盘分享地址
此代码基于PTB数据集，实现了一个具有一定泛化能力的语言模型。可指定初始单词和生成单词数生成文本
# 基于MQTT协议和Docker的IoT远程监控管理系统 ## 项目简介 此项目旨在通过MQTT协议实现IoT设备的远程监控与管理，结合Docker技术实现服务器端的轻量化部署。通过Esp32微控制器连接IoT设备和MQTT服务器，实现数据的采集、传输和展示。 ## 项目的主要特性和功能 1. 自动化配置实现Esp32微控制器的自动化配置，通过WiFi连接MQTT服务器。 2. 图形化界面提供图形化界面，方便用户配置WiFi和MQTT服务器的连接凭证。 3. 远程固件更新支持远程固件更新，确保设备始终运行在最新状态。 4. Docker部署利用Docker技术，实现服务器端轻量化部署，方便管理和维护。 5. 实时数据传输通过MQTT协议实现数据的实时传输和展示，适用于多种IoT设备。 ## 安装使用步骤 1. 下载源码下载并解压项目源码文件。 2. 配置Docker环境根据项目需求，配置Docker环境，并启动相应的Docker容器。
# 基于Qt框架的智能家居管理系统 ## 项目简介 本项目是一个基于Qt框架开发的智能家居管理系统，旨在提供一个集成的平台来监控和管理家庭环境中的各种传感器数据，如温度、湿度、烟雾状态、红外状态等。系统通过图形界面实时展示数据，并提供警报功能以应对异常情况。 ## 项目的主要特性和功能 1. 实时数据监控通过Qt和Qwt库创建的曲线图，实时显示温度和湿度数据。 2. 多传感器支持支持温度、湿度、烟雾、红外等多种传感器的监控。 3. 警报系统当传感器数据超过设定阈值时，系统会触发警报，并通过界面显示警告信息。 4. 用户交互提供滑动条和复选框，允许用户调整警报阈值或关闭警报。 5. 网络通信通过TCP套接字与服务器通信，获取和发送传感器数据及网络拓扑信息。 6. 蓝牙数据读取支持通过蓝牙读取传感器数据并更新界面显示。 ## 安装使用步骤 1. 环境准备 确保已安装Qt开发环境。 安装Qwt库以支持曲线图功能。
建立数据库连接池对象（服务器启动）。 按照事先指定的参数创建初始数量的数据库连接（即：空闲连接数）。 对于一个数据库访问请求，直接从连接池中得到一个连接。如果数据库连接池对象中没有空闲的连接，且连接数没有达到最大（即：最大活跃连接数），创建一个新的数据库连接。 存取数据库。 关闭数据库，释放所有数据库连接（此时的关闭数据库连接，并非真正关闭，而是将其放入空闲队列中。如实际空闲连接数大于初始空闲连接数则释放连接）。 释放数据库连接池对象（服务器停止、维护期间，释放数据库连接池对象，并释放所有连接）。
# 基于物联网技术的远程医疗机器人系统 ## 项目简介 本项目通过结合物联网技术和移动设备，实现了一个远程医疗机器人系统。通过远程控制和监测，医生可以在不同地点和环境中进行操作和观察，从而提高医疗服务效率和便利性。本系统的应用场景包括医院、手术室和病房等场景，旨在解决医生无法实时出现在患者身边的问题。 ## 项目的主要特性和功能 本项目的主要特性和功能包括 1. 远程控制医生可以通过BLYNK应用程序控制医疗机器人，实现在远程环境中的导航和操作。 2. 实时监控医疗机器人配备有摄像头和传感器，医生可以实时观察患者情况和手术室环境。 3. 温度监测医疗机器人内置温度传感器，可以测量患者的体温，无需直接接触患者。 4. 药品管理医疗机器人配备有药品箱，可以方便地进行药品的存储和管理。 ## 安装使用步骤 假设用户已经下载了本项目的源码文件，以下是安装使用步骤
# 基于JavaFX的图片管理系统 ## 项目简介 本项目是一个基于JavaFX的图片管理系统，旨在提供一个用户友好的界面来管理和浏览图片。系统支持图片的预览、重命名、删除、复制、粘贴等操作，并提供了多种排序和展示方式。 ## 项目的主要特性和功能 1. 预览窗口 目录树展示 缩略图预览 单选、多选（Ctrl+左键）、框选功能 图片信息显示（如文件名、大小、最后修改时间等） 2. 右键菜单 复制粘贴图片 单选和多选重命名 删除图片 3. 展示窗口 图片放大缩小 左右切换图片 幻灯片播放功能 4. 排序功能 按文件名排序 按文件大小排序 按最后修改时间排序 5. 其他功能 图片信息封装（ImageBean） 文件树节点管理（FileTreeItem）
# 基于TensorFlow的中文文本分类系统 ## 项目简介 本项目是一个基于TensorFlow的中文文本分类系统，使用卷积神经网络（CNN）和循环神经网络（RNN）进行文本分类。项目涵盖了从数据预处理、模型训练、模型评估到模型预测的全流程，旨在提供一个高效的中文文本分类解决方案。 ## 主要特性和功能 数据预处理包括读取文件数据、构建词汇表、转换分类目录、将文本数据转换为ID序列表示等。 模型构建实现了基于CNN和RNN的文本分类模型，支持LSTM和GRU作为RNN的单元。 模型训练提供了详细的训练配置，包括学习率、批次大小、迭代轮次等参数的设置。 模型评估在验证集上评估模型的性能，输出准确率、损失等信息，并生成混淆矩阵。 模型预测加载训练好的模型，对新的文本消息进行分类预测，并输出预测类别。 ## 安装使用步骤 1. 环境准备 安装Python 23 安装TensorFlow 1.3以上
Dbc Rules
ES客户端浏览器插件 ElasticSearch-head插件平替 在原插件基础上修复了_bulk类型查询报错问题。 适用于Edge浏览器 解压后在浏览器插件管理中开启开发模式，通过加载解压的插件方式使用
基于springboot丰田4s店汽车管理系统源码数据库文档.zip
# 基于Python和LSTM的台湾电力负荷预测系统 ## 项目简介 本项目旨在通过机器学习模型预测台湾特定区域的电力负荷情况，为能源管理和分配提供数据支持。系统基于时间序列分析，利用深度学习技术，特别是循环神经网络（RNN）中的LSTM层，对历史电力负荷数据进行学习，并预测未来的电力负荷趋势。 ## 项目的主要特性和功能 1. 数据处理项目能够处理并清洗从CSV文件中读取的电力负荷数据，包括处理缺失值、数据类型转换和日期处理等步骤。 2. 数据归一化使用sklearn的MinMaxScaler对数据进行归一化处理，将数据缩放到模型可处理的范围内。 3. 模型构建项目定义了一个包含两个LSTM层的RNN模型，用于学习电力负荷数据的时间依赖性。模型还包括Dropout层进行正则化，避免过拟合。 4. 模型训练使用历史电力负荷数据训练定义的RNN模型，并设置早期停止回调来避免过度训练。