From c649bd001c376c430e5967493b27ea0c27d24496 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 13:56:10 +0800 Subject: [PATCH 1/8] init --- tiflash/tiflash-configuration.md | 9 +++++++++ 1 file changed, 9 insertions(+) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index e49e81d122c8..06f11cde4251 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -239,6 +239,15 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true + ## 从 v6.0.0 引入，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + task_scheduler_thread_soft_limit = 5000 + + ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 + task_scheduler_thread_hard_limit = 10000 + + ## 从 v6.4.0 引入，表示 TiFlash 实例同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + task_scheduler_active_set_soft_limit = 0 + ## 安全相关配置，从 v4.0.5 开始生效 [security] ## 从 v5.0 引入，控制是否开启日志脱敏 From 85d018ae41d255d0d9c100ebc0aa889987e73da0 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:05 +0800 Subject: [PATCH 2/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 06f11cde4251..fa870bafc222 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -239,7 +239,7 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 task_scheduler_thread_soft_limit = 5000 ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 From 2dc528d971e26b76ec730a362d013c594f731c26 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:10 +0800 Subject: [PATCH 3/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index fa870bafc222..e21f3d798adc 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -245,7 +245,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，表示 TiFlash 实例同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From f34844f8e429e188f196e5ea1624a27d0c64c5c3 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:17 +0800 Subject: [PATCH 4/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index e21f3d798adc..8eaf0350e065 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -242,7 +242,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 + ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示全局最多可使用的线程数量，默认值为 10000 task_scheduler_thread_hard_limit = 10000 ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 From 1a6c72f12805d4bca1adce9bbadeb6731230a114 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Tue, 19 Nov 2024 10:38:24 +0800 Subject: [PATCH 5/8] address comment --- tiflash/tiflash-configuration.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 8eaf0350e065..3e52a13a105a 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -239,13 +239,13 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示全局最多可使用的线程数量，默认值为 10000 + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示 TiFlash 实例最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From e5db0c7f1174bf1ef9fdda5cb44b787cb1251587 Mon Sep 17 00:00:00 2001 From: Lilian Lee Date: Tue, 19 Nov 2024 10:43:49 +0800 Subject: [PATCH 6/8] Update wording --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 3e52a13a105a..2d4aa68cdb07 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -245,7 +245,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示 TiFlash 实例最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From 26d37585a25c52574e76eee43880801b005c545d Mon Sep 17 00:00:00 2001 From: lilin90 Date: Tue, 19 Nov 2024 11:57:47 +0800 Subject: [PATCH 7/8] Update tiflash-mintso-scheduler.md --- tiflash/tiflash-mintso-scheduler.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/tiflash/tiflash-mintso-scheduler.md b/tiflash/tiflash-mintso-scheduler.md index 2b47dce0791c..f4ae690f533a 100644 --- a/tiflash/tiflash-mintso-scheduler.md +++ b/tiflash/tiflash-mintso-scheduler.md @@ -60,3 +60,7 @@ MinTSO 调度器的目标是在控制系统线程数的同时，确保系统中 ![TiFlash MinTSO Scheduler v2](/media/tiflash/tiflash_mintso_v2.png) 通过引入 soft limit 与 hard limit，MinTSO 调度器在控制系统线程数的同时，有效地避免了系统死锁。不过对于高并发场景，可能会出现大多数查询都只有部分 MPP Task 被调度的情况。只有部分 MPP Task 被调度的查询无法正常执行，从而导致系统执行效率低下。为了避免这种情况，TiFlash 在查询层面为 MinTSO 调度器引入了一个限制，即 active_set_soft_limit，该限制要求系统最多只有 active_set_soft_limit 个查询的 MPP Task 可以参与调度；对于其它的查询，其 MPP Task 不参与调度，只有等当前查询结束之后，新的查询才能参与调度。该限制只是一个 soft limit，因为对于 MinTSO 查询来说，其所有 MPP Task 在系统线程数不超过 hard limit 时都可以直接被调度。 + +## 另请参阅 + +- [TiFlash 配置参数](/tiflash/tiflash-configuration.md)：了解 MinTSO 调度器的相关配置。 From adc81ec0fef54599fda80286bc464e2cf39874ed Mon Sep 17 00:00:00 2001 From: Lilian Lee Date: Thu, 21 Nov 2024 14:14:26 +0800 Subject: [PATCH 8/8] Update links --- tiflash/tiflash-configuration.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 2d4aa68cdb07..70bc8000bf35 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -239,13 +239,13 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v7.5/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效