From 1907c18a3cc6c06115f2ff7b59cdda27d9fada12 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 13:56:10 +0800 Subject: [PATCH 1/8] init --- tiflash/tiflash-configuration.md | 9 +++++++++ 1 file changed, 9 insertions(+) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 814330f942e4..e7a2f3dd49b8 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -249,6 +249,15 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true + ## 从 v6.0.0 引入，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + task_scheduler_thread_soft_limit = 5000 + + ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 + task_scheduler_thread_hard_limit = 10000 + + ## 从 v6.4.0 引入，表示 TiFlash 实例同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + task_scheduler_active_set_soft_limit = 0 + ## 安全相关配置，从 v4.0.5 开始生效 [security] ## 从 v5.0 引入，控制是否开启日志脱敏。可选值为 `true`、`false`、`"on"`、`"off"` 和 `"marker"`。其中，`"on"`、`"off"` 和 `"marker"` 从 v8.2.0 开始支持。 From 00ed819729cd12455916e1c3804b71a04d3d7c01 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:05 +0800 Subject: [PATCH 2/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index e7a2f3dd49b8..d529e8527af8 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -249,7 +249,7 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 task_scheduler_thread_soft_limit = 5000 ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 From e46ddb74b16cfdd11bf9b1e086c799c27944f539 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:10 +0800 Subject: [PATCH 3/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index d529e8527af8..8bdfcd2057ad 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -255,7 +255,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，表示 TiFlash 实例同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From 09bc19ec869d78e70e808463a23b661346da2de5 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Mon, 4 Nov 2024 14:13:17 +0800 Subject: [PATCH 4/8] Update tiflash/tiflash-configuration.md Co-authored-by: xufei --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 8bdfcd2057ad..764431aaa798 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -252,7 +252,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，表示全局最多可使用的线程数量，默认值为 10000 + ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示全局最多可使用的线程数量，默认值为 10000 task_scheduler_thread_hard_limit = 10000 ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 From a1d74ba48ce2f7b4aa259fd1e4bf7201e99eacb5 Mon Sep 17 00:00:00 2001 From: xzhangxian1008 Date: Tue, 19 Nov 2024 10:38:24 +0800 Subject: [PATCH 5/8] address comment --- tiflash/tiflash-configuration.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 764431aaa798..08d44380f1b2 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -249,13 +249,13 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示一个 resource group 中最多可使用的线程数量，默认值为 5000 + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示全局最多可使用的线程数量，默认值为 10000 + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 [MinTSO 调度器](/tiflash/tiflash-mintso-scheduler.md)，表示 TiFlash 实例最多同时运行的 query 数量，默认值为 0，即两倍 vcpu 数量 + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示 TiFlash 实例最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From c580c6ab043bdc3c20cf2cb2f4b686246962517e Mon Sep 17 00:00:00 2001 From: Lilian Lee Date: Tue, 19 Nov 2024 10:43:49 +0800 Subject: [PATCH 6/8] Update wording --- tiflash/tiflash-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index 08d44380f1b2..eee253950c5a 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -255,7 +255,7 @@ delta_index_cache_size = 0 ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示 TiFlash 实例最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效 From 1f6d6b3fe525b310fe7a11276421c2a8b1986108 Mon Sep 17 00:00:00 2001 From: lilin90 Date: Tue, 19 Nov 2024 11:57:47 +0800 Subject: [PATCH 7/8] Update tiflash-mintso-scheduler.md --- tiflash/tiflash-mintso-scheduler.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/tiflash/tiflash-mintso-scheduler.md b/tiflash/tiflash-mintso-scheduler.md index 2b47dce0791c..f4ae690f533a 100644 --- a/tiflash/tiflash-mintso-scheduler.md +++ b/tiflash/tiflash-mintso-scheduler.md @@ -60,3 +60,7 @@ MinTSO 调度器的目标是在控制系统线程数的同时，确保系统中 ![TiFlash MinTSO Scheduler v2](/media/tiflash/tiflash_mintso_v2.png) 通过引入 soft limit 与 hard limit，MinTSO 调度器在控制系统线程数的同时，有效地避免了系统死锁。不过对于高并发场景，可能会出现大多数查询都只有部分 MPP Task 被调度的情况。只有部分 MPP Task 被调度的查询无法正常执行，从而导致系统执行效率低下。为了避免这种情况，TiFlash 在查询层面为 MinTSO 调度器引入了一个限制，即 active_set_soft_limit，该限制要求系统最多只有 active_set_soft_limit 个查询的 MPP Task 可以参与调度；对于其它的查询，其 MPP Task 不参与调度，只有等当前查询结束之后，新的查询才能参与调度。该限制只是一个 soft limit，因为对于 MinTSO 查询来说，其所有 MPP Task 在系统线程数不超过 hard limit 时都可以直接被调度。 + +## 另请参阅 + +- [TiFlash 配置参数](/tiflash/tiflash-configuration.md)：了解 MinTSO 调度器的相关配置。 From 12decd9b1800910810eb9f40eb8cd5c8ccf7b112 Mon Sep 17 00:00:00 2001 From: Lilian Lee Date: Thu, 21 Nov 2024 14:01:56 +0800 Subject: [PATCH 8/8] Update links --- tiflash/tiflash-configuration.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tiflash/tiflash-configuration.md b/tiflash/tiflash-configuration.md index eee253950c5a..33cdffea9dd2 100644 --- a/tiflash/tiflash-configuration.md +++ b/tiflash/tiflash-configuration.md @@ -249,13 +249,13 @@ delta_index_cache_size = 0 ## 从 v7.4.0 引入，表示是否开启 TiFlash 资源管控功能。当设置为 true 时，TiFlash 会使用 Pipeline Model 执行模型。 enable_resource_control = true - ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示一个资源组中最多可使用的线程数量，默认值为 5000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v8.4/tiflash-mintso-scheduler task_scheduler_thread_soft_limit = 5000 - ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.0.0 引入，用于 MinTSO 调度器，表示全局最多可使用的线程数量，默认值为 10000。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v8.4/tiflash-mintso-scheduler task_scheduler_thread_hard_limit = 10000 - ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/dev/tiflash-mintso-scheduler + ## 从 v6.4.0 引入，用于 MinTSO 调度器，表示一个 TiFlash 实例中最多可同时运行的查询数量，默认值为 0，即两倍的 vCPU 数量。关于 MinTSO 调度器，详见 https://docs.pingcap.com/zh/tidb/v8.4/tiflash-mintso-scheduler task_scheduler_active_set_soft_limit = 0 ## 安全相关配置，从 v4.0.5 开始生效