分布式定时任务

Entropy Lv4

本文来源于第五届字节跳动青训营活动,已收录到分布式定时任务 | 青训营笔记 - 掘金 (juejin.cn) ,主要记录了对分布式定时任务的学习

分布式定时任务

目标

  • 知识面扩充
    • 对分布式定时任务建立起宏观的认知,并深入了解其实现原理
    • 了解关联的单机定时任务、大数据处理引擎,通过了解不同实现方案的优劣来拓展知识面
  • 项目实践能力加强
    • 了解在哪些实际业务场景中使用分布式定时任务
    • 对于实际业务场景中的中间件选型、技术方案做到胸有成竹

1.前言

作为后端开发者,面对亿级用户规模、亿级资金规模、百万级读写 QPS,如何设计一个最终开奖环节技术方案?

分布式定时任务 = 自动化 + 定时执行 + 海量数据 + 高效稳定

2.发展历程

2.1 Windows 批处理

  • Case 1:10 分钟后 Windows 电脑自动关机
    1. 桌面空白处右键单击-新建-文本文档
    2. 更改文件名和后缀名为“自动关机.bat”
    3. 修改文件内容为“shutdown -s -t 600”,表示 10 发展后自动关机
    4. 双击运行该批处理文件,电脑将在会在 10 分钟之后自动关机

2.2 Windows 任务计划程序

  • Case 2:每天 12:00 自动疫情打卡
  • 具体设置方法参考相关资料

2.3 Linux 任务计划-CronJob

  • Case 3:每天 02:30 定时清理机器日志
  • Linux 系统命令,使用简单,稳定可靠
  • 但只能控制单机,且不适用于其他操作系统
  • 参考linux CronJob 教程 定时任务

2.4 单机定时任务

Timer、Ticker
  • Case 4:每隔 5 分钟定时刷新本地缓存数据

  • 通过代码实现

    Java

    1
    2
    3
    4
    5
    6
    7
    8
    9
    public static void main(String[] args) throws ParseException {
    Timer timer = new Timer();
    timer.schedule(new TimerTask() {
    @Override
    public void run() {
    SyncLocalCache();
    }
    }, 5000, 5 * 60 * 1000);
    }

    Go

    1
    2
    3
    4
    5
    6
    7
    8
    9
    func main() {
    ticker := time.NewTicker(5 * time.Minute)
    for {
    select {
    case <- ticker.C:
    SyncLocalCache()
    }
    }
    }
  • 跨平台可用

  • 仅单机可用

ScheduledExecutorService
  • Case 5:每隔 5 分钟定时执行多个任务

    Java

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    private static ScheduledExecutorService scheduler;
    public static void main(String[] args) throws ParseException {
    scheduler = Executors.newScheduledThreadPool(5);
    scheduler.scheduleAtFixedRate(
    new Runnable() {
    @Override
    public void run() {
    DoSomething();
    }
    }, 0, 300, TimeUnit.SECONDS);
    }
  • 拥有线程池功能

  • 仅单机可用

2.5 任务调度-Quartz

2.6 分布式定时任务

  • 平台化部署
  • 分布式部署
  • 支持海量数据
概念

定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。解决了自动化和准时化这两个问题。

分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。解决了高性能、可靠性、分布式部署等问题。

按触发时机分类

  • 定时任务:特定时间触发,例如今天 16:00 执行
  • 延时任务:延时触发,例如 10 分钟后执行
  • 周期任务:固定周期时间或固定频率周期调度触发,例如每隔 5秒 或者每天 12:00 执行
特点
  • 自动化:全自动完成定时任务的调度和执行
  • 平台化:基于平台化的思维管控一系列的分布式定时任务
  • 分布式:在分布式系统环境下运行任务调度,突破单机定时任务的性能瓶颈
  • 伸缩性:采用集群方式部署,可以随时按需扩缩容
  • 高可用:单点故障不影响最终任务结果,可以实现故障转移
执行方式
  • 单机任务:随机触发一台机器执行任务,适用于计算量小、并发度低的任务
  • 广播任务:广播到所有机器上执行同一个任务,例如所有机器一起清理日志
  • Map 任务:一个任务可以分出多个子任务,每个子任务负责一部分的计算。适用于计算量大,单机无法满足要求的任务
  • MapReduce 任务:在 Map 任务的基础上,对所有子任务的结果做汇总计算,适用于计算量大,并且需要对子任务结果做汇总的任务

2.7 业内定时任务框架

框架来源是否开源任务编排任务分片高可用故障转移可视化运维
Xxl-job美团点评子任务依赖支持支持支持支持
SchedulerX阿里巴巴支持支持支持支持支持
TCT腾讯支持支持支持支持支持
Elastic-job当当网不支持支持支持支持支持
Saturn唯品会不支持支持支持支持支持
Xxl-job

Xxl-job 是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。Xxl-job 支持分片,简单支持任务依赖,支持子任务依赖,不是跨平台的。

Xxl-job 很大的一个优势在于开源且免费,并且轻量级,开箱即用,操作简单,上手快,企业维护成本不高,因而在中小型公司使用非常广泛。

SchedulerX

分布式任务调度 ScheduleX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台,提供定时调度、调度任务编排和分布式批量处理等功能。

SchedulerX 可在阿里云付费使用。它的功能非常强大,在阿里巴巴内部广泛使用并久经考验。

TCT

分布式任务调度服务 Tencent Cloud Task 是腾讯自主研发的一款高性能、高可靠通用的分布式任务调度中间件,通过指定时间规则严格触发调度任务,保障任务的可靠有序执行。该服务支持国际通用的时间表达式、调度任务执行生命周期管理,解决传统定时调度任务单点及并发性能问题。同时,支持任务分片、流程编排复杂调度任务处理能力,覆盖广泛的任务调度应用场景。

TCT 仅在腾讯内部使用,未开源、未商用。

2.8 知识面扩充

分布式定时任务和单机定时任务

共同点

  • 都可以实现自动化的定时、延时、周期任务调度

差异

  • 分布式定时任务可支撑更大的业务体量
  • 分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务和大数据处理引擎

共同点

  • 都可以对海量数据做处理
  • 性能、伸缩性、稳定性都很高

差异

  • 定时并不是大数据处理引擎要解决的核心问题
  • 大数据引擎往往致力于将源数据处理成结果数据,分布式定时任务除了做这个之外,还能调用 HTTP 和 RPC 服务

2.9 小结

  • 生活用途
    • Windows 批处理
    • Windows 任务计划程序
  • 工作用途
    • Linux 任务计划 — cronjob
    • 单机定时任务 — Timer、Ticker
    • 单机定时任务 — ScheduledExecutorService
    • 任务调度 — Quartz
    • 分布式定时任务
  • 分布式定时任务
    • 触发时机:定时、延时、周期
    • 执行方式:单机、广播、Map、MapReduce
    • 业内流行框架:Xxl-job、SchedulerX、TCT
    • 关联技术:单机定时任务、大数据处理引擎

3.实现原理

3.1 核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题

  • 触发器:Trigger,解析任务,生成触发事件

  • 调度器:Scheduler,获取执行任务单元,管理任务生命周期

  • 执行器:Executor,获取执行任务单元,执行任务逻辑

除此之外,还需要提供一个控制台(Admin),提供任务管理和干预的功能。

数据流

任务创建:用户 —> 任务基础信息、触发规则、任务代码 —> 控制台(Admin)—> 任务 DB

任务执行:控制台(Admin)—> 触发器 Trigger —> 调度器 Scheduler —> 执行器 Executor

功能架构

Admin:元数据存储、元数据状态流转、任务分片、任务依赖、规则引擎、任务暂停/恢复、日志管理、监控报警、指标统计、…

Trigger:解析引擎、Scanner、可靠投递、状态流转、补偿策略

Scheduler:调度、负载均衡、幂等控制、容错、故障转移、限流、计费、平滑启停、状态管控、…

Executor:注册、任务获取、任务执行、状态上报、日志处理、本地幂等、任务回调、…

3.2 控制台

基本概念
  • 任务:Job,任务元数据
  • 任务实例:JobInstance,周期任务会生成多个任务实例
  • 任务结果:JobResult,任务实例运行的结果
  • 任务历史:JobHistory,用户可以修改任务信息,任务实例对应的任务元数据可以不同,因而使用任务历史存储
任务元数据

任务元数据(Job)是用户对任务属性的定义,包括任务类型调度时机、执行行为等。

任务实例

任务实例(JobInstance)是一个确定的 Job 的一次运行实例。

3.3 触发器

核心职责

给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度

设计约束
  • 需支持大量任务
  • 需支持秒级的调度
  • 周期任务需要多次执行
  • 需保证秒级扫描的高性能,并避免资源浪费
方案 1

定期扫描 + 延时消息

定时扫描的机器集群部署,通过分布式锁保证只有一台机器在调度。

方案 2

时间轮(Quartz 方案)

时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列,底层采用数组实现,数组中的每个元素可以存放一个定时任务列表。

目标:遍历任务列表,从中找出当前时间点需触发的任务列表

几种存储方式的比较

  1. 使用链表存储任务,每个元素代表一个任务。查询复杂度 O(n),修改复杂度 O(1)

  2. 使用最小堆存储任务,按执行时间排序,每个节点存储同执行时间任务列表。查询复杂度 O(1),修改复杂度 O(log n)

  3. 使用时间轮存储任务,每个节点存储同执行时间任务列表。查询复杂度 O(1),修改复杂度 O(1)

    存在刻度容量问题。

  4. 使用多时间轮存储任务,上一级时间轮转过对应刻度后把任务塞入下级时间轮中。

高可用

核心问题

  • 不同业务之间,任务的调度会相互影响
  • 负责扫描和触发的机器出现故障

解法思路

  • 存储上,不同级别、业务做资源隔离
  • 运行时,不同级别、业务分开执行
  • 部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只能被触发一次

问题

  • 单 Trigger 模式:会有单点故障,机器故障时平台崩溃。
  • Trigger 集群模式:可避免单点故障,但需要避免同一任务被多次触发,导致业务紊乱。
数据库行锁模式

在触发调度之前,更新数据库中 JobInstance 的状态,成功抢锁的才会触发调度。但是多台机器频繁竞争数据库锁,节点越多性能越差。

分布式锁模式

在触发调度之前,尝试抢占分布式锁,可使用 Redis 锁或 Zookeeper 锁。性能较高,是比较广泛使用的方案。

3.4 调度器

资源来源

业务系统提供机器资源

优点

  • 任务执行逻辑与业务系统共用同一份资源,利用率更高

缺点

  • 更容易发生定时任务脚本影响在线服务的事故
  • 不能由定时任务平台控制扩缩容

定时任务平台提供机器资源

优点

  • 任务执行逻辑与业务系统提供的在线服务隔离,避免相互影响
  • 可以支持优雅地扩缩容

缺点

  • 消耗更多的机器资源
  • 需要额外为定时任务平台申请接口调用权限,而不能直接继承业务系统的权限
节点选择
  • 随机节点执行:选择集群中一个可用的节点执行调度任务。

    适用场景:定时对账。

  • 广播执行:在集群中所有的执行节点分发调度任务并执行。

    适用场景:批量运维。

  • 分片执行:按照用户自定义分片逻辑进行拆分,分发到集群中不同节点并行执行,提升资源利用效率。

    适用场景:海量日志统计。

任务分片

通过任务分片来提高任务执行的效率和资源的利用率。N 个执行器 Executor,M 个业务数据区域段,最好 M >= N,且 M 是 N 的整数倍。

任务编排

使用有向无环图 DAG(Directed Acyclic Graph)进行可视化任务编排。

高级特性 - 故障转移

故障转移:确保部分执行单元任务失败时,任务最终成功。

分片任务基于一致性 hash 策略分发任务,当某 Executor 异常时,调度器会将任务分发到其他 Executor。

高可用

调度器可以集群部署,做到完全的无状态,靠消息队列的重试机制保障任务一定会被调度。

3.5 执行器

基于注册中心,可以做到执行器的弹性扩缩容。

3.6 小结

  • 核心架构
    • 控制台 Admin、触发器 Trigger、调度器 Scheduler、执行器 Executor
  • 业务模型
    • 任务元数据 Job、任务实例 JobInstance、任务结果 JobResult、任务历史 JobHistory
  • 触发器
    • 定时扫描 + 延时消息
    • 时间轮
      • 链表、最小堆、时间轮、多级时间轮
  • 调度器
    • 资源来源
    • 资源调度:节点选择、任务分片、任务编排、故障转移
  • 执行器
    • 注册、调度、回调、心跳检测

4.业务应用

所有需要定时、延时、周期性执行任务的业务场景,都可以考虑使用分布式定时任务。

电商

  • 订单 30 分钟未付款自动关闭订单
  • 定时给商家、达人发送消息,给用户发放优惠券等

互动

  • 支付宝集五福
  • 集卡瓜分红包

游戏

  • 活动结束后批量补发用户未领取的奖励
  • 定期更新游戏内榜单
其他解决方案

发货后超过 10 天未收货时系统自动确认收货

  • 使用分布式定时任务的延时任务
  • 使用消息队列的延时消息或者定时消息

春节集卡活动统计完成集卡的用户个数和总翻倍数

  • 使用分布式定时任务的 MapReduce 任务
  • 使用大数据离线处理引擎 Hive 离线做统计
  • 使用大数据实时处理引擎 Flink 实时做统计
对比
解决方案时效性可控性简洁性主要缺点
分布式定时任务秒级-
单机定时任务秒级无法支撑很大业务体量
延时消息实时在任务有变化时,已发送的延时消息不便于做变动
离线计算小时级时延至少小时级
实时计算秒级只能做数据处理,无法调用 HTTP/RPC 请求完成业务逻辑处理

参考资料

Windows 任务计划程序(task scheduler)介绍

linux CronJob 教程 定时任务

Quartz 是什么?一文带你入坑

美团点评许雪里:分布式任务调度平台 XXL-JOB

时间轮原理及其在框架中的应用

  • 标题: 分布式定时任务
  • 作者: Entropy
  • 创建于 : 2023-02-08 12:23:22
  • 更新于 : 2023-04-01 07:55:52
  • 链接: https://www.entropy-tree.top/2023/02/08/golang-day12/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论