From 4c5548bcb8532b40b16afc8d86501582371fab24 Mon Sep 17 00:00:00 2001 From: Ti Chi Robot Date: Thu, 21 Nov 2024 14:21:14 +0800 Subject: [PATCH] Add mintso config parameters (#18997) (#19135) --- tiflash/tiflash-configuration.md | 9 +++++++++ tiflash/tiflash-mintso-scheduler.md | 4 ++++ 2 files changed, 13 insertions(+) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index e49e81d122c8..70bc8000bf35 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -239,6 +239,15 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler + task_scheduler_thread_soft_limit = 5000 + + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler + task_scheduler_thread_hard_limit = 10000 + + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler + task_scheduler_active_set_soft_limit = 0 + ## 安全相关配置，从 v4.0.5 开始生效 [security] ## 从 v5.0 引入，控制是否开启日志脱敏 diff --git a/tiflash/tiflash-mintso-scheduler.md b/tiflash/tiflash-mintso-scheduler.md index 2b47dce0791c..f4ae690f533a 100644 --- a/tiflash/tiflash-mintso-scheduler.md +++ b/tiflash/tiflash-mintso-scheduler.md @@ -60,3 +60,7 @@ MinTSO 调度器的目标是在控制系统线程数的同时，确保系统中 ![TiFlash MinTSO Scheduler v2](/media/tiflash/tiflash_mintso_v2.png) 通过引入 soft limit 与 hard limit，MinTSO 调度器在控制系统线程数的同时，有效地避免了系统死锁。不过对于高并发场景，可能会出现大多数查询都只有部分 MPP Task 被调度的情况。只有部分 MPP Task 被调度的查询无法正常执行，从而导致系统执行效率低下。为了避免这种情况，TiFlash 在查询层面为 MinTSO 调度器引入了一个限制，即 active_set_soft_limit，该限制要求系统最多只有 active_set_soft_limit 个查询的 MPP Task 可以参与调度；对于其它的查询，其 MPP Task 不参与调度，只有等当前查询结束之后，新的查询才能参与调度。该限制只是一个 soft limit，因为对于 MinTSO 查询来说，其所有 MPP Task 在系统线程数不超过 hard limit 时都可以直接被调度。 + +## 另请参阅 + +- [TiFlash 配置参数](/tiflash/tiflash-configuration.md)：了解 MinTSO 调度器的相关配置。