分布式定时任务

本文来源于第五届字节跳动青训营活动，已收录到分布式定时任务 | 青训营笔记 - 掘金 (juejin.cn) ，主要记录了对分布式定时任务的学习

分布式定时任务

目标

知识面扩充
- 对分布式定时任务建立起宏观的认知，并深入了解其实现原理
- 了解关联的单机定时任务、大数据处理引擎，通过了解不同实现方案的优劣来拓展知识面
项目实践能力加强
- 了解在哪些实际业务场景中使用分布式定时任务
- 对于实际业务场景中的中间件选型、技术方案做到胸有成竹

1.前言

作为后端开发者，面对亿级用户规模、亿级资金规模、百万级读写 QPS，如何设计一个最终开奖环节技术方案？

分布式定时任务 = 自动化 + 定时执行 + 海量数据 + 高效稳定

2.发展历程

2.1 Windows 批处理

Case 1：10 分钟后 Windows 电脑自动关机
1. 桌面空白处右键单击-新建-文本文档
2. 更改文件名和后缀名为“自动关机.bat”
3. 修改文件内容为“shutdown -s -t 600”，表示 10 发展后自动关机
4. 双击运行该批处理文件，电脑将在会在 10 分钟之后自动关机

2.2 Windows 任务计划程序

Case 2：每天 12:00 自动疫情打卡
具体设置方法参考相关资料

2.3 Linux 任务计划-CronJob

Case 3：每天 02:30 定时清理机器日志
Linux 系统命令，使用简单，稳定可靠
但只能控制单机，且不适用于其他操作系统
参考linux CronJob 教程定时任务

2.4 单机定时任务

Timer、Ticker

Case 4：每隔 5 分钟定时刷新本地缓存数据

通过代码实现

Java

public static void main(String[] args) throws ParseException {
    Timer timer = new Timer();
    timer.schedule(new TimerTask() {
        @Override
        public void run() {
            SyncLocalCache();
        }
    }, 5000, 5 * 60 * 1000);
}

func main() {
    ticker := time.NewTicker(5 * time.Minute)
    for {
        select {
            case <- ticker.C:
            SyncLocalCache()
        }
    }
}

跨平台可用
仅单机可用

ScheduledExecutorService

Case 5：每隔 5 分钟定时执行多个任务

Java

private static ScheduledExecutorService scheduler;
public static void main(String[] args) throws ParseException {
    scheduler = Executors.newScheduledThreadPool(5);
    scheduler.scheduleAtFixedRate(
        new Runnable() {
            @Override
            public void run() {
                DoSomething();
            }
        }, 0, 300, TimeUnit.SECONDS);
}

拥有线程池功能
仅单机可用

2.5 任务调度-Quartz

单任务极致控制
没有负载均衡机制
参考Quartz 是什么？一文带你入坑

2.6 分布式定时任务

平台化部署
分布式部署
支持海量数据

概念

定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。解决了自动化和准时化这两个问题。

分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。解决了高性能、可靠性、分布式部署等问题。

按触发时机分类

定时任务：特定时间触发，例如今天 16:00 执行
延时任务：延时触发，例如 10 分钟后执行
周期任务：固定周期时间或固定频率周期调度触发，例如每隔 5秒或者每天 12:00 执行

特点

自动化：全自动完成定时任务的调度和执行
平台化：基于平台化的思维管控一系列的分布式定时任务
分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
伸缩性：采用集群方式部署，可以随时按需扩缩容
高可用：单点故障不影响最终任务结果，可以实现故障转移

执行方式

单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
广播任务：广播到所有机器上执行同一个任务，例如所有机器一起清理日志
Map 任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
MapReduce 任务：在 Map 任务的基础上，对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

2.7 业内定时任务框架

框架	来源	是否开源	任务编排	任务分片	高可用	故障转移	可视化运维
Xxl-job	美团点评	是	子任务依赖	支持	支持	支持	支持
SchedulerX	阿里巴巴	否	支持	支持	支持	支持	支持
TCT	腾讯	否	支持	支持	支持	支持	支持
Elastic-job	当当网	是	不支持	支持	支持	支持	支持
Saturn	唯品会	是	不支持	支持	支持	支持	支持

Xxl-job

Xxl-job 是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。Xxl-job 支持分片，简单支持任务依赖，支持子任务依赖，不是跨平台的。

Xxl-job 很大的一个优势在于开源且免费，并且轻量级，开箱即用，操作简单，上手快，企业维护成本不高，因而在中小型公司使用非常广泛。

SchedulerX

分布式任务调度 ScheduleX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。

SchedulerX 可在阿里云付费使用。它的功能非常强大，在阿里巴巴内部广泛使用并久经考验。

TCT

分布式任务调度服务 Tencent Cloud Task 是腾讯自主研发的一款高性能、高可靠通用的分布式任务调度中间件，通过指定时间规则严格触发调度任务，保障任务的可靠有序执行。该服务支持国际通用的时间表达式、调度任务执行生命周期管理，解决传统定时调度任务单点及并发性能问题。同时，支持任务分片、流程编排复杂调度任务处理能力，覆盖广泛的任务调度应用场景。

TCT 仅在腾讯内部使用，未开源、未商用。

2.8 知识面扩充

分布式定时任务和单机定时任务

共同点

都可以实现自动化的定时、延时、周期任务调度

差异

分布式定时任务可支撑更大的业务体量
分布式定时任务的性能、伸缩性、稳定性更高

分布式定时任务和大数据处理引擎

共同点

都可以对海量数据做处理
性能、伸缩性、稳定性都很高

差异

定时并不是大数据处理引擎要解决的核心问题
大数据引擎往往致力于将源数据处理成结果数据，分布式定时任务除了做这个之外，还能调用 HTTP 和 RPC 服务

2.9 小结

生活用途
- Windows 批处理
- Windows 任务计划程序
工作用途
- Linux 任务计划 — cronjob
- 单机定时任务 — Timer、Ticker
- 单机定时任务 — ScheduledExecutorService
- 任务调度 — Quartz
- 分布式定时任务
分布式定时任务
- 触发时机：定时、延时、周期
- 执行方式：单机、广播、Map、MapReduce
- 业内流行框架：Xxl-job、SchedulerX、TCT
- 关联技术：单机定时任务、大数据处理引擎

3.实现原理

3.1 核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题

触发器：Trigger,解析任务，生成触发事件
调度器：Scheduler，获取执行任务单元，管理任务生命周期
执行器：Executor，获取执行任务单元，执行任务逻辑

除此之外，还需要提供一个控制台（Admin），提供任务管理和干预的功能。

数据流

任务创建：用户 —> 任务基础信息、触发规则、任务代码 —> 控制台（Admin）—> 任务 DB

任务执行：控制台（Admin）—> 触发器 Trigger —> 调度器 Scheduler —> 执行器 Executor

功能架构

Admin：元数据存储、元数据状态流转、任务分片、任务依赖、规则引擎、任务暂停/恢复、日志管理、监控报警、指标统计、…

Trigger：解析引擎、Scanner、可靠投递、状态流转、补偿策略

Scheduler：调度、负载均衡、幂等控制、容错、故障转移、限流、计费、平滑启停、状态管控、…

Executor：注册、任务获取、任务执行、状态上报、日志处理、本地幂等、任务回调、…

3.2 控制台

基本概念

任务：Job，任务元数据
任务实例：JobInstance，周期任务会生成多个任务实例
任务结果：JobResult，任务实例运行的结果
任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储

任务元数据

任务元数据（Job）是用户对任务属性的定义，包括任务类型调度时机、执行行为等。

任务实例

任务实例（JobInstance）是一个确定的 Job 的一次运行实例。

3.3 触发器

核心职责

给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度

设计约束

需支持大量任务
需支持秒级的调度
周期任务需要多次执行
需保证秒级扫描的高性能，并避免资源浪费

方案 1

定期扫描 + 延时消息

定时扫描的机器集群部署，通过分布式锁保证只有一台机器在调度。

方案 2

时间轮（Quartz 方案）

时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表。

目标：遍历任务列表，从中找出当前时间点需触发的任务列表

几种存储方式的比较

使用链表存储任务，每个元素代表一个任务。查询复杂度 O(n)，修改复杂度 O(1)
使用最小堆存储任务，按执行时间排序，每个节点存储同执行时间任务列表。查询复杂度 O(1)，修改复杂度 O(log n)
使用时间轮存储任务，每个节点存储同执行时间任务列表。查询复杂度 O(1)，修改复杂度 O(1)
存在刻度容量问题。
使用多时间轮存储任务，上一级时间轮转过对应刻度后把任务塞入下级时间轮中。

高可用

核心问题

不同业务之间，任务的调度会相互影响
负责扫描和触发的机器出现故障

解法思路

存储上，不同级别、业务做资源隔离
运行时，不同级别、业务分开执行
部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只能被触发一次

问题

单 Trigger 模式：会有单点故障，机器故障时平台崩溃。
Trigger 集群模式：可避免单点故障，但需要避免同一任务被多次触发，导致业务紊乱。

数据库行锁模式

在触发调度之前，更新数据库中 JobInstance 的状态，成功抢锁的才会触发调度。但是多台机器频繁竞争数据库锁，节点越多性能越差。

分布式锁模式

在触发调度之前，尝试抢占分布式锁，可使用 Redis 锁或 Zookeeper 锁。性能较高，是比较广泛使用的方案。

3.4 调度器

资源来源

业务系统提供机器资源

优点

任务执行逻辑与业务系统共用同一份资源，利用率更高

缺点

更容易发生定时任务脚本影响在线服务的事故
不能由定时任务平台控制扩缩容

定时任务平台提供机器资源

优点

任务执行逻辑与业务系统提供的在线服务隔离，避免相互影响
可以支持优雅地扩缩容

缺点

消耗更多的机器资源
需要额外为定时任务平台申请接口调用权限，而不能直接继承业务系统的权限

节点选择

随机节点执行：选择集群中一个可用的节点执行调度任务。
适用场景：定时对账。
广播执行：在集群中所有的执行节点分发调度任务并执行。
适用场景：批量运维。
分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率。
适用场景：海量日志统计。

任务分片

通过任务分片来提高任务执行的效率和资源的利用率。N 个执行器 Executor，M 个业务数据区域段，最好 M >= N，且 M 是 N 的整数倍。

任务编排

使用有向无环图 DAG（Directed Acyclic Graph）进行可视化任务编排。

高级特性 - 故障转移

故障转移：确保部分执行单元任务失败时，任务最终成功。

分片任务基于一致性 hash 策略分发任务，当某 Executor 异常时，调度器会将任务分发到其他 Executor。

高可用

调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度。

3.5 执行器

基于注册中心，可以做到执行器的弹性扩缩容。

3.6 小结

核心架构
- 控制台 Admin、触发器 Trigger、调度器 Scheduler、执行器 Executor
业务模型
- 任务元数据 Job、任务实例 JobInstance、任务结果 JobResult、任务历史 JobHistory
触发器
- 定时扫描 + 延时消息
- 时间轮
  - 链表、最小堆、时间轮、多级时间轮
调度器
- 资源来源
- 资源调度：节点选择、任务分片、任务编排、故障转移
执行器
- 注册、调度、回调、心跳检测

4.业务应用

所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务。

电商

订单 30 分钟未付款自动关闭订单
定时给商家、达人发送消息，给用户发放优惠券等

互动

支付宝集五福
集卡瓜分红包

游戏

活动结束后批量补发用户未领取的奖励
定期更新游戏内榜单

其他解决方案

发货后超过 10 天未收货时系统自动确认收货

使用分布式定时任务的延时任务
使用消息队列的延时消息或者定时消息

春节集卡活动统计完成集卡的用户个数和总翻倍数

使用分布式定时任务的 MapReduce 任务
使用大数据离线处理引擎 Hive 离线做统计
使用大数据实时处理引擎 Flink 实时做统计

对比

解决方案	时效性	可控性	简洁性	主要缺点
分布式定时任务	秒级	高	高	-
单机定时任务	秒级	高	高	无法支撑很大业务体量
延时消息	实时	低	中	在任务有变化时，已发送的延时消息不便于做变动
离线计算	小时级	中	高	时延至少小时级
实时计算	秒级	高	中	只能做数据处理，无法调用 HTTP/RPC 请求完成业务逻辑处理

参考资料

Windows 任务计划程序（task scheduler）介绍

linux CronJob 教程定时任务

Quartz 是什么？一文带你入坑

美团点评许雪里：分布式任务调度平台 XXL-JOB

时间轮原理及其在框架中的应用

树下集熵

分布式定时任务

分布式定时任务

目标

1.前言

2.发展历程

2.1 Windows 批处理

2.2 Windows 任务计划程序

2.3 Linux 任务计划-CronJob

2.4 单机定时任务

Timer、Ticker

ScheduledExecutorService

2.5 任务调度-Quartz

2.6 分布式定时任务

概念

特点

执行方式

2.7 业内定时任务框架

Xxl-job

SchedulerX

TCT

2.8 知识面扩充

分布式定时任务和单机定时任务

分布式定时任务和大数据处理引擎

2.9 小结

3.实现原理

3.1 核心架构

数据流

功能架构

3.2 控制台

基本概念

任务元数据

任务实例

3.3 触发器

核心职责

设计约束

方案 1

方案 2

高可用

数据库行锁模式

分布式锁模式

3.4 调度器

资源来源

节点选择

任务分片

任务编排

高级特性 - 故障转移

高可用

3.5 执行器

3.6 小结

4.业务应用

其他解决方案

对比

参考资料