锋盈数科-知识库 Logo
首页
软件开发
计算机基础
Hello Halo
新手必读
关于本知识库
登录 →
锋盈数科-知识库 Logo
首页 软件开发 计算机基础 Hello Halo 新手必读 关于本知识库
登录
  1. 首页
  2. 软件开发
  3. 基于Zookeeper 简单实现分布式任务协调组件

基于Zookeeper 简单实现分布式任务协调组件

0
  • 软件开发
  • 发布于 2024-08-12
  • 2 次阅读
黄健
黄健

本文由 简悦 SimpRead 转码, 原文地址 blog.csdn.net

优质博文:IT-BLOG-CN

一、什么是 Zookeeper

ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件。

它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper 的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

二 、 分布式任务协调组件的需求是什么

【1】现在有名称为 ECAS 的应用并集群运行在两台服务器上,分别为 ECAS_1 和 CAS_2。而我们希望有一个任务 TASK_1 可以在两台 ECAS 应用中的任何一个应用来运行,可以是 ECAS_1 也可以是 ECAS_2。

【2】假设 TASK_1 运行在 ECAS_1 上,而此时 ECAS_1 所在的服务器由于某些原因宕机了,ECAS_2 需要接管任务 TASK_1,使其可以继续运行。

需求分析:
a) 任务 TASK_1 既可以运行在 ECAS_1 上,也可以运行在 ECAS_2 上,任务吭启动时,由 ECAS_1 和 CAS_2 竞争运行权
b) 当 ECAS 集群中某台服务器宕机了,原来运行在这台服务器上的 ECAS 运行的应用应该由另外一台接管运行

三、基于 Zookeeper 实现需求

【1】可能需要使用到的 Zookeeper 的特性:监听节点发化,当有节点被增加、删除、修改时,通知关注节点发化的客户端

【2】实现需求一
a) 在 Zookeeper 上新增 ROOT/Tasks 节点,用于存放任务子节点(PS:ROOT 节点是根节点,用于存放本次功能实现相关的子节点)
b) 所有客户端客户端关注节点 ROOT/Tasks 的子节点变化情况。
1、当有节点被新增进来时,触发竞争任务执行权操作
2、当有节点被移除时,触发任务停止操作
c) 如何竞争子任务,Zookeeper 提供了基于 Version 的乐观锁操作,多个客户端尝试修改任务节点的属性时,叧有一个客户端可以修改成功,修改成功的客户端既竞争到了任务的执行权

【3】实现需求二
a)在 Zookeeper 上新增 ROOT/Workers 节点,用于存放当前存活的客户端实例(PS:ROOT 节点是根节点,用于存放本次功能实现相关的子节点)
b) 所有客户端在 Workers 节点下添加代表自身的临时子节点,在 Zookeeper 中,临时子节点的特性是,当所属客户端断开了与 Zookeeper 的连接,子节点会被移除。
c) 所有客户端关注节点 ROOT/Workers 的子节点发化情况
1. 当有新的节点添加进来时,表示集群中有新的客户端启动了
2. 当有节点被移除时,表示有客户端离开了集群,此时遍历 ROOT/Tasks 下所有子节点,接管离开客户端所属的任务。

【4】下面是一个简单的 Zookeeper 上的节点层次图

四、更强大的分布式调组件

4.1 可灵活定制任务负载策略
4.2 宕机应用返回集群后,任务的重新负载

标签: #软件开发 1171
相关文章

万字:支付“核心系统”详解 2024-11-02 15:33

专栏作者:隐墨星辰 \| 主编:陈天宇宙 这篇文章也尝试化繁为简,探寻支付系统的本质,讲清楚在线支付系统最核心的一些概念和设计理念。 虽然支付行业已经过了风头最劲的时光,但跨境支付仍然在蓬勃发展,每年依然有很多新人进入这个行业,这篇文章尝试为这些刚入行的新人提供一点帮助。 文章只介绍一些支付行业十几

资深支付架构师视角:实战从问题定义到代码落地的完整套路 2024-11-02 15:33

前言 今天从一个实际案例入手,介绍站在架构师的角度,如何识别并定义问题,提炼需求,技术方案选型,再到详细设计,最后利用AI的能力协助写出核心的代码,验证与调优。 解决问题存在一定的模式,也可以称之为框架,总结出自己的思考和解题框架,以后再碰到同类型的问题就可以如庖丁解牛一样容易。 很多年前,我写代码

Spring 实现 3 种异步接口 2024-10-18 09:07

大家好,我是苏三~ 如何处理比较耗时的接口? 这题我熟,直接上异步接口,使用 Callable、WebAsyncTask 和 DeferredResult、CompletableFuture等均可实现。 但这些方法有局限性,处理结果仅返回单个值。在某些场景下,如果需要接口异步处理的同时,还持续不断地

重学SpringBoot3-集成Redis(五)之布隆过滤器 2024-10-08 11:24

更多SpringBoot3内容请关注我的专栏:《SpringBoot3》 期待您的点赞👍收藏⭐评论✍ 重学SpringBoot3-集成Redis(五)之布隆过滤器 1. 什么是布隆过滤器? * 基本概念 适用场景 2. 使用 Redis 实现布隆过滤器 * 项目依赖 Redis 配置

设计模式第16讲——迭代器模式(Iterator) 2024-10-08 11:24

一、什么是迭代器模式 迭代器模式是一种行为型设计模式,它提供了一种统一的方式来访问集合对象中的元素,而不是暴露集合内部的表示方式。简单地说,就是将遍历集合的责任封装到一个单独的对象中,我们可以按照特定的方式访问集合中的元素。 二、角色组成 抽象迭代器(Iterator):定义了遍历聚合对象所需的方法

vue2路由和vue3路由区别及原理 2024-10-08 11:24

一、Vue2 与 Vue3 路由的区别 1. 创建路由实例方式的不同 Vue 2 中,通过 Vue.use() 注册路由插件,并通过 new VueRouter() 来创建路由实例。 import Vue from 'vue';import VueRouter from 'vue-router';i

目录

IT 外包服务商

  • 意见投递
  • zyf6619

软件开发应用

主菜单

  • 首页
  • 软件开发
  • 计算机基础
  • Hello Halo
  • 新手必读
  • 关于本知识库
Copyright © 2024 your company All Rights Reserved. Powered by Halo.